Toky_min的博客

AWQ算法

继续学习SmolLM模型概述SmolLM 是一系列小型语言模型，有三种规模：参数数量分别为 1.35 亿、3.6 亿和 17 亿。这些模型在 SmolLM 语料库上进行训练，该语料库是经过精心整理的高质量教育及合成数据集合，专为训练大语言模型而设计。更多详细信息，请参阅我们的博客文章。为构建 SmolLM-Instruct，我们在公开可用的数据集上对基础模型进行了微调。变更日志版本发布描述v0.1SmolLM-Instruct 的首次发布。