LLM技术发展及在垂直领域中如何应用-经验学习大全

大语言模型综述

前景

语言建模（LM)是提高机器语言智能的主要方法之一。一般来说，LM旨在对词序列的生成概率进行建模，以预测未来tokens的概率。语言建模的研究在文献中受到了广泛关注，可以分为四个主要发展阶段：

• 统计语言模型（SLM）: 起源于 20世纪90年代。其基本思想是基于马尔可夫假设建立词预测模型，由于需要估计指数级数量的转换概率，因此很难准确估计高阶语言模型。因此需要专门设计平滑策略，如回退估计和古德图灵估计被引入以缓解数据稀疏问题。

• 神经语言模型（NLM）: 通过神经网络，如循环神经网络（RNN）,来描述单词序列 的概率。作为一个显著贡献。工作引入了词的分布式表示这一概念，并在聚合上下文特征的条件下构建词预测函数。有研究开发了一种通用神经网络方法来为各种NLP任务构建统一解决方案。word2vec提出了构建一个简化的浅层神经网络来学习分布式单词表示方法，这些表示在各种NLP任务重被证明非常有效。

• 预训练语言模型（PLM）: 作为早期尝试，ELMo被提出来通过预训练一个双向LSTM网络来捕捉上下文感知的词表示，然后根据特定的下游任务微调biLSTM网络。进一步，基于自注意力机制的高度并行化Transformer架构，BERT作为双向 语言模型，在大规模无标签库上使用专门设计的预训练任务。利用预训练的上下文感知词表示作为通用语义特征非常有效，其极大地提高了NLP任务的性能。

• 大语言模型（LLM）: 拓展PLM通常会提高下游任务的模型性能。许多研究通过训练越来越大的PLM来探索性能极限。GPT-3通过上下文学习来解决少样本任务，但gpt-2表现不佳。

大模型目前已经具备了开放世界的理解能力。大模型往往也是通用的，而通用是理解领域的前提。一般来说训练语料越广泛而多样，通用大模型能力越强。大模型具备强大的组合创新能力，其能够将任意两种学科组合创新，“举一反三”成为可能。大模型也具备强大的评估评价能力。例如，GPT4其在语义相关任务中具有出色的评估能力，这使得高质量的自动化评估成为可能。基于n-gram的自动评估指标无法聚焦于翻译质量，后续可使用GPT-4类大模型对习语翻译质量打分。大模型对于用户的指令提示高度敏感,能够遵循指令完成任务，大模型的智能本质上是情景化生成能力。基于思维链等技术，大模型初步具备复杂任务的分解能力，具备一定的完成复杂任务所需的动作规划能力。大模型已经具备了常识、符号和逻辑推理等复杂推理能力。大模型在学习语言的过程中捕捉到数据中价值观的共性，并在某些情况下将它们表达出来（价值对齐）。大模型具备了统一的任务形式，所有的任务都可以统一为生成范式。

百亿参数量级别的模型通常需要数百甚至上千个GPU或TPU。例如，GPT_NeoX-20B使用了12个为微服务器，每个服务器配备了8个NVIDIA A100-SXM4-40GB GPU，LLaMA使用了2048个A100-80G GPU。为了准确估计所需的计算资源，还是建议使用衡量涉及计算量的指标，例如计算FLOPS（每秒浮点数运算次数）。

千亿参数量级别的模型通常需要数千个GPU或TPU进行训练。例如，OPT(175B)使用了992个A100-80GB GPU，GLM（130B）使用了96个NVIDIA DGX-A100(8x40G) GPU节点集群。

大语言模型的公共API。当下OpenAI提供了七个主要的 GPT-3系列模型接口：ada、babbage(1B)、curie(6.7B)、davinci（175B）、text-ada-001、text-babbage-001和 text-curie-001。

已有的大模型

1. GPT-3 [55]

2. PaLM [56]（将参数规模提升到了破纪录的5400亿）

3. Galactica [34]

4. LLaMA(65B)

5. DeepSpeed和Megatron-LM,为了支持分布式训练，发布了一些优化框架来促进并行算法的实现和部署

6. GPT-4提出开发特殊的基础设施和优化方法，可靠地预测远小于大模型的小模型的性能；其也采用了类似于InstructGPT的技术，在产生高质量、无害的回答方面表现出很强的对齐能力。

7. InstructGPT设计了一种有效的微调方法，使LLM与人类价值观保持一直。其中利用了基于人类反馈的强化学习技术（P. F. Christiano, J. Leike, T. B. Brown, M. Martic, S. Legg, and D. Amodei, “Deep reinforcement learning from human preferences,” in Advances in Neural Infor mation Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, I. Guyon, U. von Luxburg, S. Bengio, H. M. Wallach, R. Fergus, S. V. N. Vishwanathan, and R. Garnett, Eds., 2017, pp. 4299–4307）。他将人类纳入训练循环中，采用精心设计的标注策略。

8. NLLB(最大版本54.5B)

9. Flan-T5(11B）可以作为研究指令微调的首选模型，因为它从三个方面探索了指令微调：增加任务数量、扩大模型规模和使用思维链提示数据进行微调。

10. codeGen(11B）是一个为生成代码设计的自回归语言模型，可用作探索代码成能力的候选模型，其提出了一个新的基准测试MTPB，专门用于多轮程序合成，由115个专家生成的问题组成，为了解决这些问题࿰