大模型理论基础-第二章（大模型的能力）

大模型的能力

语言建模

定义

• 模仿和理解语言

• 例如：

  • 句法解析

  • 词语预测

  • 常识推理

困惑度

• 预测下一个词的不准确性

  • 例如，若困惑度为10，那意味着每次模型在预测下一个词时，平均上会考虑10个词作为可能的选择。

两类错误

• 召回错误

  • 不能正确分配概率值

• 精确率错误

  • 给错误的词序过度分配概率值

召回率低和精确率低的含义：

召回率低：很多应该别识别的对象没有识别到

精确率低：识别到的对象中很多的分类是错误的

文本问答

定义

• 输入问题

• 输出答案

机器翻译

定义

• 从源语言翻译成目标语言

算术解答

定义

• 做算术题

新闻生成

定义

• 给定标题和副标题

• 生成新闻文章

新颖任务

新词应用

• 给定新造的词，生成使用例子

语法纠正

• 纠正句子中语法错误

其他任务

• 词汇替换

• 多任务语言理解

• 等等

思维导图：