- 1 引言
- 语言建模的研究可以分为四个主要发展阶段:统计语言模型(SLM)、神经语言模型(NLM)、预训练语言模型(PLM)、大语言模型(LLM)
- ·统计语言模型(SLM):基本思想是基于马尔可夫假设建立词预测模型,例如根据最近的上下文预测下一个词。
- ·神经语言模型(NLM):引入了词的分布式表示这一概念,并在聚合上下文特征(即分布式词向量)的条件下构建词预测函数。开创了将语言模型用于表示学习(超越词序列建模)的应用
- ·预训练语言模型(PLM):基于自注意力机制的高度并行化Transformer架构。确立了“预训练和微调”学习范式。
- ·大语言模型(LLM):在解决一系列复杂任务中展示了惊人的能力(称为涌现能力)
- LLM和PLM之间的三个主要区别:
- LLM表现出一些令人惊讶的涌现能力
- 与小型PLM不同,访问LLM的主要方法是通过提示接口(例如GPT-4API)
- LLM的发展不再明确区分研究和工程。
- 这一新技术浪潮可能会带来一个基于LLM的实际应用的繁荣生态系统。
基本原理尚未得到充分探索的挑战:- 为什么涌现能力会出现在LLM中
- 研究界很难训练出有能力的LLM
- 将LLM与人类价值观或偏好保持一致是具有挑战性的
- 从四个主要方面对LLM的最近进展进行文献综述:
- 预训练(如何预训练出一个有能力的LLM)
- 适配微调(如何从有效性和安全性两个角度有效地微调预训练的LLM)
- 使用(如何利用LLM解决各种下游任务)
- 能力评估(如何评估LLM的能力和现有的经验性发现)
- 语言建模的研究可以分为四个主要发展阶段:统计语言模型(SLM)、神经语言模型(NLM)、预训练语言模型(PLM)、大语言模型(LLM)
笔记-《A Survey of Large Language Models》-引言
最新推荐文章于 2024-08-17 17:03:35 发布