大拨鼠-CSDN博客

原创从头开始构建GPT标记器

SolidGoldMagikarp”实际上是一个Reddit用户，分词数据集与实际语言模型的训练数据集非常不同，所以在分词数据集中，可能有大量的Reddit数据，因为“SolidGoldMagikarp”是一个经常发帖的人，这个词出现的频率很高，所以被合并成一个单独的标记，但是当你训练模型的时候，这些字符串没有在Reddit的数据中出现，这个标记在优化的开始是随机初始化的，并且在模型训练的过程中从未被更新过。随着词汇量的增加，嵌入表的大小也会增加，从而线性层的大小也会增加，所以要消耗更多的计算资源；

2024-05-30 20:02:32 1061 1

翻译什么是编码器和解码器？

一般来说，编码器和解码器Transformers都使用相同的自注意力层来编码token。主要区别在于编码器旨在学习可用于各种预测类任务（如分类）的嵌入，而解码器则设计用于生成新文本，例如回答用户查询。

2024-05-21 20:18:07 276

原创如何让机器理解人类语言？Embedding技术详解

在语言理解方面，人类的能力是无与伦比的。因为人脑能够轻松理解语言中的各种情感信息，例如幽默、讽刺、负面情绪等，只是我们必须了解句子所用的语言。例如，如果有人用英语评论我的文章，如果不借助翻译我可能很难理解对方想要表达的内容，所以为了有效的沟通，我们需要用对方最熟悉的语言进行交流。同理，为了让机器能够处理并理解任何类型的文本，需要我们将文本表示为机器能够理解的“语言”。那么，机器最擅长理解哪种语言呢？没错，就是数字。无论我们提供什么样的数据给机器，例如视频、音频、图片或是文本，机器最终都只能处理数字。

2024-05-13 15:44:51 981

watermelon_c的博客

原创从头开始构建GPT标记器

翻译什么是编码器和解码器？

原创如何让机器理解人类语言？Embedding技术详解

原创正则表达式：文本处理的利器

原创 AutoDL如何下载huggingface模型

原创模型训练加速策略：掌握数据并行的力量

原创为什么要梯度累积

原创 kaggle酶稳定性预测第三名解决方案分享

原创【Linux】Shell基础--Bash变量

原创【机器学习】推荐算法(附例题代码)

原创汇编指令合集

原创【Linux】Shell基础-Bash基本功能

原创【Linux】文件系统管理

原创【机器学习】聚类分析与主成分分析(附例题源码)

原创【Linux】权限管理详解

原创【机器学习】支持向量机原理及例题详解

原创【Linux】用户管理命令

原创【机器学习】神经网络识别手写数字（附python源码）

原创【Linux】软件包管理超详细笔记

原创【机器学习】Logistic回归详解（含源码）

原创【Linux】文本编辑器Vim

原创 Linux常用指令合集

原创【数据结构与算法】图的基本概念回顾

原创【机器学习】梯度下降与正规方程（附例题代码）

原创【LeetCode题解】BFS层序遍历二叉树

原创【数据结构与算法】二叉树

原创【数据结构与算法】LeetCode单链表习题(一)

原创【数据结构与算法】栈与队列

原创【数据结构与算法】双向链表C语言描述

原创数据结构与算法----单链表

空空如也

机器学习交叉验证问题