一些LLM的知识

大模型常用基准数据集

• 代码：数据集HumanEval和MBPP
• 常识推理: 数据集PIQA，SIQA，HellaSwag，WinoGrande，ARC easy and challenge，OpenBookQA，CommonsenseQA
• 知识面：NaturalQuestions和TriviaQA
• 阅读理解能力：SQuAD，QuAC，BoolQ
• 数学能力：GSM8K，MATH

Prompt

prompt最初有人工设计Prompt，自然语言提示本身十分脆弱，选择不同的Prompt对下游任务的性能影响较大，而且从优化角度无法达到最优。
为了消除这一影响，Prompt Tuning技术应运而生，P-Tuning V1将自然语言提示的token，替换为可训练的嵌入，同时利用LSTM进行Reparamerization加速训练，并引入少量自然语言提示的锚字符(anchor)进一步提升效果。

Tuning方法

• Houlsby提出的Adapter tuning 增加模型层数
• 微软 Lora
• 斯坦福 Prefix-Tuning
• 谷歌 Prompt Tuning
• 清华 P-tuning V2
• Fine-Tuning 全参数微调

自回归

预训练是做自回归，即随机地把文本的某些单次通过mask遮挡起来，通过文本的上下文来预测被遮挡的词是什么，本质上是无监督学习，不需要人工贴标签，所以可以收集海量的数据进行预训练

指令微调

指令微调是根据下游任务的需求收集指令数据集在预训练的基础模型上进一步训练。
指令数据集由输入和输出两部分组成，输入就是人给机器下达的指令或者问机器的问题，当然可以包含背景知识，输出就是机器对于指令或者问题的回复。
当前比较主流的指令数据集的格式有两种，一种是instruction，input和output。instruction为指令，input为背景，output为机器回复。
另一种是input和output，将当前的instruction和input合并作为input，output一样。

NLU 自然语言理解

NLU 自然语言理解(Natural Language Understanding, NLU)是所有支持机器理解文本内容的方法模型或任务的总称。
NLU在文本信息处理处理系统中扮演着非常重要的角色，是推荐、问答、搜索等系统的必备模块。
本文介绍了NLU和NLP、NLG的关系，并基于数据流将NLU的内容进行整理，最后对文本分类、文本聚类和NER这3种典型任务的目标和思路进行了简单说明。

Token

在大型语言模型中，"token"是指文本中的一个最小单位。
通常，一个token可以是一个单词、一个标点符号、一个数字、一个符号等。
在自然语言处理中，tokenization是将一个句子或文本分成tokens的过程。

在大型语言模型的训练和应用中，模型接收一串tokens作为输入，并尝试预测下一个最可能的token。
对于很多模型来说，tokens还可以通过embedding操作转换为向量表示，以便在神经网络中进行处理。
由于大型语言模型处理的文本非常大，因此对于处理速度和内存占用等方面的考虑，通常会使用特定的tokenization方法，例如基于字节对编码（byte-pair encoding，BPE）或者WordPiece等算法。