大模型学习笔记二——大模型的能力

2.1语言模型的适应性：从语言模型到任务模型的转化

任务在这被定义为从输入到输出。（这个适应可以理解为，原来就是模型只是单纯的理解这句话，适应之后能够回答这句话）。

这个过程要两个输入：1、任务的自然语言描述；2、训练（一是有监督的学习另一个是通过上下文学习。）

关于GPT-3的任务的讨论点和结果之类的。

2.1.1LM

关于语言模型会给文本分配什么概率，怎么分配，之前都有一定的介绍。

困惑度用于衡量语言模型的性能。它可以解释为模型在预测下⼀个词时的平均不确定性。困惑度越低越准确。困惑度定义：

 但是一个序列越长，其联合概率越趋近于0.所以不太能采用算术平均，通常采用几何平均：

公式中的表达的是编码长度，我们计算的是平均长度，反映了下一个词的选择数量，数量越多，选择越多，困惑度越高。

两类错误：

召回错误：未能正确为某个词分配概率值；

精确度错误：为错误的词序过度分配了概率值。

2.1.1.1Penn Tree Bank

Penn Tree Bank经典数据集，PTB语⾔模型基准测试涉及对原始数据集的⼀些重要预处理。

2.1.1.2LAMBADA

任务：预测句子最后一个词。

动机：对较长内容建模，并有依赖。

2.1.1.3  Hellaswag

任务：从⼀系列选择中选出最适合完成句⼦的选项。

动机：评估模型进⾏常识推理的能⼒。

2.1.2 Question answering

基于已有的数据集的训练给出答案。

2.1.2.1 TriviaQA

任务：给定⼀问题后⽣成答案

2.1.2.2 WebQuestions

任务：和TriviaQA类似是问答任务

2.1.2.3 NaturalQuestions

任务：回答问题

2.1.3 Translation

翻译模型

2.1.4 Arithmetic

算数模型

2.1.5 News article generation

任务：给定标题和副标题，⽣成新闻⽂章。

2.1.6 Novel tasks

2.1.6.1 使⽤新词

任务：给定⼀个新造的词和定义，⽣成使⽤该词的句⼦。

2.1.6.2 纠正英语语法

任务：给定⼀个不合语法的句⼦，⽣成其合语法的版本。

2.1.7 Other tasks

一些其他的任务。

（本文为学习笔记，欢迎大佬勘误！）

学习资料：

https://github.com/datawhalechina/so-large-lm/tree/main