学习入门 Chatgpt原理二

coderlin_

于 2024-07-25 09:17:01 发布

阅读量769

点赞数 23

文章标签： chatgpt 学习人工智能

本文链接：https://blog.csdn.net/lin_fightin/article/details/140025647

版权

学习文章：人人都能看懂的chatGpt原理课
笔记作为学习用，侵删

Chatgpt是一个语言模型

语言模型是什么？

所谓语言模型，就是由计算机来实现类似于人的语言交流、对话、叙述能力，它集中体现在模型能够依赖上下文进行正确的文字输出(模型能依赖上下文，进行正确的文字输出)

比如：请补全这条语句：掘金社区是一个便捷的技术交流____

可以填网站，也可以填平台，空格处要填什么字，填几个汉字，是根据空格周围的上下文来决定的。能够正确根据上下文在空格处填入恰当的文字，表明其语言能力强，否则表示语言能力弱。

把上述这些预测空格内容的问题交给计算机建模来完成，就实现了语言模型的训练
语言模型就是由上述的方式来进行训练的。

Chatgpt如何处理文字输入的

chatgpt的输入输出，就是将文字输入进模型，再由模型预测出文字，本质就是一个文字接龙的语言模型。
而文字进入模型前，需要经过一个转换，转成gpt能理解的形式，在计算处理后，再将结果转换回文字。这种转换包括两个步骤Tokenizer和Embedding
文字->Tokenizer->Embedding->chatgpt...
在这里插入图片描述

Tokenizer

例如，用户提问了一条文本，文字（带标点和各种特殊符号）共有 50 个字符，但耗费了 30 个 token，ChatGPT 根据输入生成一条回答，总计 200 个 token，逆转换为文字总共 300 个字，那么用户一共消费的 token 数就是 30+200=230 个。那什么是 token 呢？

token 是任何 NLP 神经网络模型接收用户输入的最小粒度。 token 本身就是一些字符的组合，如英文单词#cat、中文词汇鞋子、英文词缀ly、中文汉字珂等，都可以看作是一个 token。
将用户输入的文本转为token，就是Tokenizer

Tokenizer 算法 BPE 执行流程

Tokenizer目前最流行的方法就是字符对编码 BPE（Byte Pair Encoding）算法，BPE算法，根据一份token此表，将输入的文本拆解成若干个token，每个token都存在于词表。

在这里插入图片描述

一般地，模型训练所使用的词表中 token 数量大约从几万~几十万不等
假设这是一个token词表，
在这里插入图片描述
BPE就是将句子根据上面这份图表进行匹配，从文本中拆分出存在于词表中的 token，

The newest car has a lower price and the lowest fuel.
=>
#The, #new, est, #car, #has, #a, #low, er, #price, #and, #the, #low, est, #fuel,

同样地，ChatGPT 模型在回答用户问题，输出答案时，也是首先输出 token 序列，再将 token 序列反转为正常的自然语言文本，这个操作叫做 D e-tokenization。它与 Tokenization 是完全互逆的操作

还有一种基于字节的 BPE 算法（Byte-level BPE）。这种方法，主要是为了克服基于字符的 token 词表，由于各种特殊字符数量太庞大导致效果变差。

简单的说就是字符数量太多，基于字符数量的token表也太大了，比如所有的字符在计算机中都是以 Unicode 编码格式实现的。Unicode 常用字符目前总量大约有十多万，如果直接基于字符形式，构造 token 词表的话，那么词表可能会变得非常庞大，达到几十万。

因此，Byte-level BPE 算法应运而生。BPE算法直接操作字符，而Byte-level BPE以字节为单位，所有的字节个数全部加起来不过 256，这对模型训练是一个巨大的利好。

Tokenizer 的好处

克服长尾效应 OOV，比如有的词汇是常用，有的词汇是罕见的（自然语言的长尾效应），这时候如果将罕见的词汇作为token，会导致它有可能不在词表中，因此引入 Tokenizer，采用 BPE 算法可以避免低频词作为 token。
例如，根据上述训练例子得到的词表，#strangest 这个词在训练语料中词频较低，可能不出现在 token 词表中，但 “#strang” 和 “est” 一定以较高的频率出现在 token 词表中。
多语言支持，早期的NLP只支持一种语言，针对英文的模型不能针对中文，而BPE算法，，包括 Byte-level BPE 算法的设计，使得一份词表中包含了多种语言的字符（所有字符串都是由Unicode编码实现的），支持模型的多语言处理功能

`词嵌入（Embedding）`

文本经过Tokenizer转换后，还需要经过Embedding进行转换。
文本经过Tokenizer转为token后，还需要通过embedding转为张量，同时 embedding 也指被转换后得到的张量本身。

在神经网络中，张量（ Tensor ）是指多维数组，它可以存储和处理大量的数据，是神经网络中最基本的数据结构。张量一般以浮点数的作为元素进行填充。
token转为浮点数张亮的过程，就是词嵌入(Embdffing)
在这里插入图片描述

总结

Tokenizer 将模型输入的文字转换为 token 序列。
ChatGPT 使用了 BPE 算法实现 Tokenizer。
Embedding 将 token 序列映射为张量矩阵，方便模型进行张量矩阵运算。

注意力机制

openAI的GPT模型等，都采用注意力机制进行建模，注意力机制是NLP神经网络的灵魂机制。

就好比上学的时候老师说把注意力集中点，这里就用到了注意力机制，学生需要把注意力放在接收课堂知识上，而不是其他事。

在语言模型中就好比：一个AI模型，从接收的大规模数据中，剔除掉不相关，不重要的信息，重点关注与自身密切的信息。其核心在于收缩关注信息的范围，实现信息的压缩。

注意力机制的建模

权重模式：上面说到信息通过tokenizer生成token，最终通过embedding向量化转成向量交给gpt。

如果想让模型更加关注到重要的信息，实际上可以认为，给重要的信息对应的 token embedding赋予更大的权重

自注意力机制 Self-Attention

计算权重，不同的模型、不同的 NLP 任务都有不同的形式。这项技术经过多年的发展，最终趋向于自注意力机制（Self-Attention），这也是 ChatGPT 所采用的形式。

注意力机制的好处

自注意力机制，擅长将每个token的上下文关联起来。注意力机制擅长计算长文本依赖。
比如提问 csdn是一个很xxx的__，这个空格填的应该跟第一个csdn有关，这种就属于跨token。自注意力机制擅长处理这种问题，寻找两者之间的关联关系。

而之前使用的是循环神经网络RNN模型来处理，该模型认为第i个token跟第i+1个token有关联，则无法跨域token，局限性较高。

其次，深度学习模型计算量巨大，为了能让gpt模型迅速出结果，采用了并行计算，（主要采用多核GPU进行计算（英伟达））

总结

注意力机制，主要是从大量信息中剔除无用信息，关注与自身密切信息，对信息进行压缩。
注意力机制在 NLP 领域的应用主要是自注意力Self-Attention 形式，它是神经网络具备充分拟合能力的灵魂。

Chatgpt的结构，Encoder-Decoder 编码器-解码器结构

在这里插入图片描述
最早使用这套架构是翻译模型，比如机器翻译模型收到一个输入how are you，经过模型一般操作，输出你好吗，这种也称为seq2seq，即序列到序列，输入一条文字序列，输出一条文字序列。

在 NLP 领域，seq2seq 可以被应用于各种各样的文字序列任务上，也就成了 NLP 领域的一种标准建模方式。

encode像极了人大脑接收一条信息解码后给大脑思考，在decoder后，将思考结果转为信息输出

GPT舍弃了encoder，保留了decoder,
在这里插入图片描述
将输入tokenizer和embedding后，变成 token embedding，进入transformer层，将transformer输出的K维向量(黄色部分)进行解码，得到需要的信息。

GPT 是一个解码器

GPT模型首先接收一串输入数据，经过 Transformer，这属于 encoder 部分，末尾模型输出预测的 token 字符，这属于 decoder 部分。与上面介绍的decoder和encoder结构有点出入，正常decoder和encoder是相互独立，中间有一个信号相连。而在GPT中，编码和解码为一体。
在这里插入图片描述
其中，左半边为编码器，右半边为解码器。而前述的 GPT 模型架构，其实就是原始结构的右半边。因此，我们也常说，GPT 系列模型仅仅使用了 decoder 部分。