大羊驼LLaMa竞品来了：AI画图最火公司开源语言模型，最小30亿参数

出 Stable Diffusion 的公司也出语言大模型了，效果还挺好。本周三，StableLM 的发布引来了科技圈的关注。

Stability AI 是近期势头正盛的创业公司，因为开源的 AI 画图工具 Stable Diffusion 而饱受好评。在周三的发布中，该公司宣布其语言大模型现已可供开发人员在 GitHub 上使用和改编。

与业内标杆 ChatGPT 一样，StableLM 旨在高效地生成文本和代码。它在名为 Pile 的开源数据集的更大版本上进行训练，其中包含来自各种来源的信息，包括维基百科、Stack Exchange 和 PubMed，共 22 个数据集，容量达到 825GB，1.5 万亿个 token。

Stability AI 表示，StableLM 模型目前可用版本的参数在 30 亿到 70 亿之间，未来将有 15 亿到 650 亿范围的多种参数模型可用。

项目链接：https://github.com/stability-AI/stableLM/

根据目前人们的测试，如果跑 7B 模型（8 bit），需要用到 12GB 的显存。

Stability AI 也放出了一些 StableLM 的问答示例：

stableLM_开发人员

StableLM 基于 Stability AI 此前与非营利组织 EleutherAI 合作开发的开源语言模型，包括 GPT-J、GPT-NeoX 和 Pythia，新模型面向尽可能大的用户群。此前在 Stable Diffusion 上，Stability AI 通过多种方式提供其文本到图像 AI 的技术，包括公开演示、软件测试版和模型的完整下载，也允许开发人员使用其工具并进行各种集成。

相比 OpenAI 的封闭，Stability AI 一直把自身定位为 AI 研究社区的一员，我们大概率会在 StableLM 上看到和上月发布的 Meta 开源 LLaMa 语言模型同样的情况。大量基于原版模型的算法可能会出现，在较小模型体量之上实现很好的效果。

stableLM_语言模型_02

StableLM 的微调版聊天界面。 

此外，现在每个人都可以尝试在 Hugging Face 上托管的 StableLM 微调聊天模型上和 AI 进行对话：https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

和所有语言大模型一样，StableLM 模型仍然存在「幻觉」问题，如果你尝试问它如何制作花生酱三明治，StableLM 会给出一个非常复杂且荒谬的食谱。它还建议人们在慰问卡上添加一张「有趣的图画」。

Stability AI 警告说，虽然它使用的数据集应该有助于「将基础语言模型引导到『更安全』的文本分布中，但并不是所有的偏见和毒性都可以通过微调来减轻。

现在 StableLM 模型已在 GitHub 存储库中上线。Stability AI 表示将在不久的将来发布一份完整的技术报告，此外还将启动众包 RLHF 计划，并与 Open Assistant 等社区合作，为 AI 聊天助手创建一个开源数据集。