EleutherAI/pythia-70m

EleutherAI/pythia-70m” 是由 EleutherAI 开发的一个小型开源语言模型，它是 Pythia Scaling Suite 系列中参数量最小的模型，拥有大约 7000 万个参数。这个模型主要旨在促进对语言模型可解释性的研究；

Pythia Scaling Suite是为促进可解释性研究而开发的模型集合（见论文）。它包含两组八个模型，大小分别为 70M、160M、410M、1B、1.4B、2.8B、6.9B 和 12B。对于每种尺寸，都有两个模型：一个在 Pile 上训练，一个在数据集全局去重后在 Pile 上训练。所有 8 种模型大小都以完全相同的顺序在完全相同的数据上进行训练。我们还为每个模型提供 154 个中间检查点，作为分支托管在 Hugging Face 上。

Pythia 模型套件的设计初衷是促进大型语言模型的科学研究，尤其是可解释性研究。尽管没有将下游性能作为设计目标，但我们发现这些模型的性能与类似和相同大小的模型相当或超过它们，例如 OPT 和 GPT-Neo 套件中的模型。

【1】https://github.com/EleutherAI/pythia 

【2】https://huggingface.co/EleutherAI/pythia-70m