轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了，针对特定领域较小的语言模型是否与较大的模型同样有效?

轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了，针对特定领域较小的语言模型是否与较大的模型同样有效?

当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。

小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语言模型。因此，深入探究小型模型显得尤为重要。

接下来我们要介绍的这两项研究，可能满足你对小模型的需求。

TinyLlama-1.1B

来自新加坡科技设计大学（SUTD）的研究者近日推出了 TinyLlama，该语言模型的参数量为 11 亿，在大约 3 万亿个 token 上预训练而成。

论文地址：https://arxiv.org/pdf/2401.02385.pdf
项目地址：https://github.com/jzhang38/TinyLlama/blob/main/README_zh-CN.md
TinyLlama 以 Llama 2 架构和分词器（tokenizer）为基础，这意味着 TinyLlama 可以在许多基于 Llama 的开源项目中即插即用。此外，TinyLlama 只有 11 亿的参数，体积小巧，适用于需要限制计算和内存占用的多种应用。

该研究表示仅需 16 块 A100-40G 的 GPU，便可在 90 天内完成 TinyLlama 的训练。

该项目从上线开始，持续受到关注，目前星标量达到 4.7K。

TinyLlama 模型架构详细信息如下所示：

训练细节如下：

研究者表示，这项研究旨在挖掘使用较大数据集训练较小模型的潜力。他们重点探究在用远大于扩展定律（scaling law）建议的 token 数量进行训练时，较小模型的行为表现。

具体来说，该研究使用大约 3 万亿个 token 训练具有 1.1B 个参数的 Transformer （仅解码器）模型。据了解，这是第一次尝试使用如此大量的数据来训练具有 1B 参数的模型。

尽管规模相对较小，但 TinyLlama 在一系列下游任务中表现相当出色，它的性能显著优于同等大小的现有开源语言模型。具体来说，TinyLlama 在各种下游任务中都超越了 OPT-1.3B 和 Pythia1.4B 。

此外，TinyLlama 还用到了各种优化方法，如 flash attention 2、FSDP（ Fully Sharded Data Parallel ）、 xFormers 等。

在这些技术的加持下，TinyLlama 训练吞吐量达到了每 A100-40G GPU 每秒 24000 个 token。例如，TinyLlama-1.1B 模型对于 300B token 仅需要 3,456 A100 GPU 小时，而 Pythia 为 4,830 小时，MPT 为 7,920 小时。这显示了该研究优化的有效性以及在大规模模型训练中节省大量时间和资源的潜力。

TinyLlama 实现了 24k tokens / 秒 / A100 的训练速度，这个速度好比用户可以在 8 个 A100 上用 32 小时训练一个具有 11 亿参数、220 亿 token 的 chinchilla-optimial 的模型。同时，这些优化也大大减少了显存占用，用户可以把 11 亿参数的模型塞入 40GB 的 GPU 里面还能同时维持 16k tokens 的 per-gpu batch size。只需要把 batch size 改小一点， 你就可以在 RTX 3090/4090 上面训练 TinyLlama。

实验中，该研究主要关注具有纯解码器架构的语言模型，包含大约 10 亿个参数。具体来说，该研究将 TinyLlama 与 OPT-1.3B、Pythia-1.0B 和 Pythia-1.4B 进行了比较。

TinyLlama 在常识推理任务上的性能如下所示，可以看出 TinyLlama 在许多任务上都优于基线，并获得了最高的平均分数。

此外，研究者在预训练期间跟踪了 TinyLlama 在常识推理基准上的准确率，如图 2 所示，TinyLlama 的性能随着计算资源的增加而提高，在大多数基准中超过了 Pythia-1.4B 的准确率。

表 3 表明，与现有模型相比，TinyLlama 表现出了更好的问题解决能力。

手快的网友已经开始整活了：运行效果出奇得好，在 GTX3060 上运行，能以 136 tok / 秒的速度运行。

「确实是快！」

小模型 LiteLlama

由于 TinyLlama 的发布，SLM（小型语言模型）开始引起广泛关注。德克萨斯工农大学的 Xiaotian Han 发布了 SLM-LiteLlama。它有 460M 参数，由 1T token 进行训练。这是对 Meta AI 的 LLaMa 2 的开源复刻版本，但模型规模显著缩小。

项目地址：https://huggingface.co/ahxt/LiteLlama-460M-1T

LiteLlama-460M-1T 在 RedPajama 数据集上进行训练，并使用 GPT2Tokenizer 对文本进行 token 化。作者在 MMLU 任务上对该模型进行评估，结果如下图所示，在参数量大幅减少的情况下，LiteLlama-460M-1T 仍能取得与其他模型相媲美或更好的成绩。

以下为该模型的性能表现，更详细内容请参阅：

https://huggingface.co/datasets/open-llm-leaderboard/details_ahxt__llama2_xs_460M_experimental

面对规模大幅缩小的 LiteLlama，有网友好奇，它是否能够在 4GB 的内存上运行。如果你也想知道，不如亲自试试看吧。

---

经过2023年的发展，大语言模型展示出了非常大的潜力，训练越来越大的模型成为有效性评估的一个关键指标，论文《A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis》中，作者全面分析了微调大语言模型(llm)及其在金融情绪分析中的零样本和少样本的能力。

作者通过使用两种方法来探索金融情绪分析背景下的潜力和适用性:

在特定的领域（金融领域）的数据集上，使用小语言模型进行微调，作者测试了250M到3B参数各种模型
以gpt-3.5 turbo为重点的情境学习
作者还将结果与SOTA(最先进的)模型进行比较以评估其性能，我们看看小模型是否还同样有效。

论文证明了以下观点:

微调较小的llm可以达到与SOTA微调llm相当的性能。
零样本和少样本学习的的性能与经过微调的小型llm相当。
增加上下文学习中的样本数量并不一定会提高情感分析任务的性能。
微调较小的llm会降低成本和提高计算效率。
作者专注于使用QLoRa (Quantized low - rank - adaptive)机制对FLAN-T5模型进行微调。使用财务特定数据集，研究了3种尺寸:Flan-T5 base (250M)， Flan-T5 large (780M)和Flan-T5-xl (3B参数)。

论文概述
论文首先总结了特定于金融领域的SOTA模型:

FinBERT:使用总计4.9B Token组的金融通信语料库进行微调的BERT。
bloomberg ggpt:这是一个包含50B个参数的闭源模型，专门针对各种金融数据进行训练。它在情感分析中表现出良好的性能。
使用LLama-7B对FinGPT进行微调。该模型使用更少的计算资源实现了与bloomberg ggpt相当的性能。
ChatGPT这样的llm也可以使用零样本学习。但是他们在少样本学习中表现并不理想
作者使用了以下模型：

1、没有进行任何微调:Flan-T5 base (250M)， Flan-T5 large (780M)， Flan-T5-xl (3B参数)，ChatGPT (gpt-3.5 turbo)。目标是研究模型的大小对零样本和少样本学习的影响。

2、微调llm:具有3个尺寸的相同型号的Flan-T5已经进行了微调。

数据集
使用了Twitter财经新闻(Twitter Train)，包括与金融主题相关的推文，可通过HuggingFace访问。它包含9540个样本。

TFSN: 2390个带有注释的财经相关推文语料库样本。

FPB: 4845篇金融新闻文章样本，由16位领域专家注释。

GPU资源
为了对3个模型进行微调，作者使用了A100 GPU，每个模型的总训练时间如下:基本模型28分钟，大模型54分钟，XL模型65分钟，所以说这个微调是非常节省资源的。

微调小型LLMs
结果显示了经过微调的小型llm优于大型llm的性能:

所有Fine-tuned-FLAN-T5的性能都优于FinBERT；Large (780M)和XL(3B) fine - tuning - flan - t5性能优于directive - lama- 7b；在TFSN数据集中，即使是基础(250M)微调的flan - t5也比使用ChatGPT (gpt-3.5 turbo)的k-shot上下文学习表现更好。

少样本学习
以下是0 -shot和k-shot学习的结果(k= 1,5和10):

在TFSN数据集上，零样本和少样本学习的表现明显低于所有其他微调模型。(除了XL，表现比FinBert稍好)

但是在FPB数据集中，与ChatGPT相比，Large和XL Flan-T5零样本和少样本学习表现出较强的性能。

样本的增加使得基本型Flan-T5的性能略有提升。但在Large和XL fall - t5中，这导致精度下降。这是因为冗长的上下文窗口可能会导致LLM误入歧途。

所以作者建议，当k-shot增加时可以使用语义相似检索或思维链(CoT)或线索和推理提示(CARP)方法来解决性能下降的问题。

总结
可以看到，针对特定的领域，微调小模型还是能过够得到很好的效果，这在对于我们实际应用是是非常有帮助的，不仅可以节省成本，还可以节省我们的训练时间，可以让我们进行快速的版本迭代。

论文地址：

https://arxiv.org/pdf/2312.08725.pdf

---

参考链接：

https://twitter.com/_akhaliq/status/1744009616562819526

https://twitter.com/XiaotianHan1/status/1743824496916656275

https://twitter.com/abacaj/status/1743303507594097136