笔记-《A Survey of Large Language Models》-引言

• 1 引言
  • 语言建模的研究可以分为四个主要发展阶段：统计语言模型(SLM)、神经语言模型(NLM）、预训练语言模型(PLM)、大语言模型(LLM)
    • ·统计语言模型(SLM)：基本思想是基于马尔可夫假设建立词预测模型，例如根据最近的上下文预测下一个词。
    • ·神经语言模型(NLM）：引入了词的分布式表示这一概念，并在聚合上下文特征（即分布式词向量）的条件下构建词预测函数。开创了将语言模型用于表示学习（超越词序列建模)的应用
    • ·预训练语言模型(PLM)：基于自注意力机制的高度并行化Transformer架构。确立了“预训练和微调”学习范式。
    • ·大语言模型(LLM)：在解决一系列复杂任务中展示了惊人的能力（称为涌现能力)
  • LLM和PLM之间的三个主要区别：
    • LLM表现出一些令人惊讶的涌现能力
    • 与小型PLM不同，访问LLM的主要方法是通过提示接口（例如GPT-4API)
    • LLM的发展不再明确区分研究和工程。
  • 这一新技术浪潮可能会带来一个基于LLM的实际应用的繁荣生态系统。
    基本原理尚未得到充分探索的挑战：
    • 为什么涌现能力会出现在LLM中
    • 研究界很难训练出有能力的LLM
    • 将LLM与人类价值观或偏好保持一致是具有挑战性的
  • 从四个主要方面对LLM的最近进展进行文献综述：
    • 预训练（如何预训练出一个有能力的LLM)
    • 适配微调（如何从有效性和安全性两个角度有效地微调预训练的LLM)
    • 使用（如何利用LLM解决各种下游任务)
    • 能力评估（如何评估LLM的能力和现有的经验性发现)