从零开始一步一步掌握大语言模型
文章平均质量分 75
专注于大语言模型的所有技术内容
罗辑罗辑
养的胸中一种恬静
展开
-
从零开始一步一步掌握大语言模型---(3-词表示-word representation)
例如以star举例,它和shining,bright,trees等在文档中一起出现的次数分别是38,45,2,那么就用【,,,38,,,45,2,。首先将每个词表示成一个低维向量,然后将设定的上下文长度的,例如是3,那就将这3个词的向量拼接在一起,就是首尾相接,形成一个更长的向量,然后给这个长向量做一个非线性变化,来预测下一个词出现的概率。同时对于某些出现的比较不频繁的词,文档中和这个词一起出现的词就比较少,导致用这种方式所表示的向量。一个未来的词(还没出现的词)只会受到它前面的词的影响。原创 2024-03-24 20:16:26 · 595 阅读 · 1 评论 -
从零开始一步一步掌握大语言模型---(1-写在最开始)
维基百科中定义大语言模型(Large Language Model, LLM)是一种语言模型,由许多神经网络的参数所组成,这些参数通常在十亿或百亿以上。这种模型使用自监督学习或者半监督学习通过对海量的未标记文本(就是互联网上爬取的)进行训练所得到的。原创 2024-03-21 12:17:11 · 549 阅读 · 0 评论 -
从零开始一步一步掌握大语言模型---(2-什么是Token?)
什么字,符号都可以用UTF-8表示。太大了。V总是256.通常大家都用Grapheme和phoneme.常见的大语言模型是如何划分token的?原创 2024-03-22 22:51:47 · 1381 阅读 · 0 评论