大语言模型（一）OLMo

一、简介

OLMo 是由AI2 发布的大语言模型以及构建框架，与大多数之前的尝试只发布模型权重和推理代码不同，OLMo 开源了整个框架，包括训练数据、训练代码以及模型评估代码。

OLMo框架包括构建和研究语言模型所需的工具和资源。对于训练和建模，它包括完整的模型权重、训练代码、训练日志、消融实验、以Weights & Biases日志形式的训练指标，以及推理代码。这次发布包括我们的语言模型在7B规模上的四个变体，对应不同的架构、优化器和训练硬件，以及一个1B规模的模型，所有模型都至少训练了2T token。OLMo 作者还在HuggingFace上作为修订版发布了数百个中间检查点。对于数据集构建和分析，它包括用于这些模型的完整训练数据，包括生成训练数据的代码，来自AI2的Dolma 和用于分析预训练数据的WIMBD。对于评估，它包括AI2的Catwalk 用于下游评估和Paloma 用于基于困惑度的评估。

OLMo 也是基于Transformer Decoder-only 架构，并做了如下主要改变：

1. 无偏置项，以提高训练稳定性。
2. 非参数化层归一化，对比参数化层归一化和RMSNorm，OLMo 作者认为这是最安全的选择，也是最快的选择。
3. SwiGLU激活函数，与LLaMA、PaLM和其他模型一样，使用SwiGLU 代替ReLU。
4. 旋转