【大模型理论基础】（大模型的能力）学习笔记

学习教程文档【大模型理论基础】

语言模型的适应性：从语言模型到任务模型的转化

Language Modeling

采用几何平均，每个词标记的概率都被同等看待，并且一个极低的概率（如0）将会导致整个几何平均大幅度下降

数据集

• Penn Tree Bank
  自然语言处理中的一个经典数据集，最初是为了进行句法解析而标注的
• LAMBADA
  
• HellaSwag
  
• Question answering
  （闭卷）问答题，其中输入是一个问题，输出是一个答案
• TriviaQA
  任务：给定一问题后生成答案
• WebQuestions
  任务：和TriviaQA类似是问答任务
• NaturalQuestions
  任务：回答问题
• Translation
  翻译任务是将源语言（例如，德语）中的句子翻译成目标语言（例如，英语）中的句子
• Arithmetic
  任务：做算术题（2-5位数的加法，减法，乘法）
• News article generation
  任务：给定标题和副标题，生成新闻文章
• Novel tasks
  使用新词；纠正英语语法