weixin_46227276的博客

Fine-tuning 指的是在一个已经预训练好的模型基础上，使用特定任务的数据进行额外的训练，以使模型适应该任务。Fine-tuning 的优点是能够在已有知识的基础上，更好地适应特定任务，提高性能。缺点可能包括过度拟合（Overfitting）：模型在训练数据上表现很好，但在新数据上的泛化能力较差。Prompt learning 涉及使用自然语言提示（prompt）来引导模型执行特定任务。这种方法通常用于零样本学习，其中模型需要在没有大量示例的情况下执行任务。

每一张卡上放置相同的模型参数、梯度、优化器状态不同的卡送入不同的数据训练反向传播获得梯度后，进行AllReduce要求单卡可以放下模型.多卡训练时内存冗余。

任务调节（Task Conditioning）就是GPT-2模型在学习多个任务时如何修改学习目标在普通的语言模型中，学习目标通常被表示为 P(output|input)，即在给定输入（input）的情况下，模型要学习生成正确的输出（output）。这是一种无监督学习的形式。GPT-2学习多任务的目标：GPT-2的目标是通过同一个无监督模型学习多个任务。为了实现这一目标，学习目标需要进行修改。

未标注的文本数据远多于已标注的文本数据，并且对于不同的下游任务会存在不同的标注方式。

虽然目前decoder only的模型是业界主流，但是encoder 的模型bert规模较小，更适合新手作为第一个上手的大模型，这样后面学习其他的大模型就不会感觉到过于困难。Decoder only模型当道： GPT3、Bloom、LLAMA、GLMTransformer Encoder结构在生成式任务上的缺陷BERT模型规模小Pretrain-Fintune范式的落寞2022年以前，学术界还是在倒腾BERTFinetune更容易针对单领域任务训练。

从科学上给语言这个东西给个定义。实际上有两种思路，一种是集合的定义，把语言里面所有能够说出来的句子和在这个语言里面可以理解的句子都定义为一个合法的句子，这些句子组成了一个有限的集合；另一种是用概率的定义方法，即把一个语言理解成为这个语言里面能够所有说的那些句子的一个概率分布。