yzy的博客

在GPT系列大语言模型中损失函数采用的是自回归语言建模任务，即根据前K-1个token预测第K个token，本质上都是交叉熵分类损失，在实现上预训练和监督微调稍有不同，本文分别进行介绍。

nn.Embedding具有一个权重（.weight），形状是(num_words, embedding_dim)。例如一共有10个词，每个词用3维向量表征，对应的权重就是一个10×3的矩阵。Embedding的输入形状N×W，N是batch size，W是序列的长度，输出的形状是N×W×embedding_dim。在PyTorch中，针对词向量有一个专门的层nn.Embedding，用来实现词与词向量的映射。Embedding的权重是可以训练的，既可以采用随机初始化，也可以采用预训练好的词向量初始化。

BF16牺牲了数据精度（表示由10位降到7位），但扩大了数据的表示范围（有研究表明数据表示范围比精度更重要）有个参数服务器，模型参数在参数服务器上进行更新，然后所有节点pull模型参数。alpha取0.1，手动降低embedding层的梯度。在code数据集上训练，增强大模型的逻辑推理能力。GLM和LLaMA中采用RoPE旋转式编码。100B参数的大模型开始出现智能涌现。LLaMA采用BF16训练的。大部分内存占用为激活函数。

BERT适合分类任务（整段分类后者词分类），对生成任务不友好使用BERT的方法：只需要在预训练好的BERT基础上新增一个输出层，然后用标记好的数据进行有监督微调Bidirectional Encoder双向Encoder实质上就是指Transformer中的encoder，双向是指在self-attention的每个位置能看到左/右两侧的上下文信息。

在使用神经网络处理自然语言处理任务时，我们首先需要对数据进行预处理，将数据从字符串转换为神经网络可以接受的格式，一般会分为如下几步：（1）分词：使用分词器对文本数据进行分词（字、字词）得到token；

GPT系列论文笔记

prompting tuning未对模型参数进行更新， Fine tuning和Instruction tuning都对模型参数进行了更新。

好处。

缺点1.向量维度和向量个数很大，假设有1w个token的话，向量个数和维度就都是1w2. 语义相近的词的向量并不相似。