埃隆·马斯克果然好汉，说到做到！
2023年3月17日，他正式将大型语言模型Grok-1开源，这一行动预示着语言模型领域的新一轮迭代即将来临！
简介
Grok-1是一个含有3140亿（314B）参数的专家混合模型（Mixture-of-Experts, MoE）。
该模型由xAI公司自底向上进行训练，未采用任何特定应用的预训练数据集。
同样的，由于该模型没有针对特定应用进行微调，因此它可能不适合直接用于对话或其他特定任务。
在GitHub页面中，官方也指出，由于模型规模较大（314B参数），运行Grok需要配备充足GPU和内存的机器。文件大小接近300GB。有网友推测，如果是8bit量化的话，可能需要8块H100。
同时这里MoE层的实现效率并不高，选择这种实现方式是为了避免在验证模型的正确性时需要自定义内核。
不过，说不定，我们可以借此实现自己的语言模型呢？
贾维斯，欢迎来到人类世界！
下载链接
xAI博文地址：https://x.ai/blog/grok-os
Grok-1 Github地址：https://github.com/xai-org/grok-1
Grok-1数据集地址：https://academictorrents.com/details/5f96d43576e3d386c9ba65b883210a393b68210e
3760
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
