一文了解AI长文本工具：马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！

近日，xAI的Grok按时开源了！这一动作不仅让马斯克成功地反击了OpenAI，还展现了其在AI领域的强大实力。Grok-1拥有3140亿参数和8个MoE，其权重和架构已完全开放，并已在GitHub上获得了超过6k颗星。

Grok-1的特点

Grok-1是迄今为止参数最多的开源LLM，其参数量是Llama 2的4倍。虽然xAI对Grok-1的详细信息尚未透露，但官网公布的一些信息包括：

• 基础模型在大量文本数据上训练，未进行任何特定任务的微调。
• 拥有314B参数的MoE，其中25%的权重处于激活状态。
• 在2023年10月，xAI使用JAX和Rust构建了自定义训练堆栈。

Grok一经在GitHub上发布，便迅速获得了6k颗星，同时被Fork了586次。

马斯克的嘲讽和反应

马斯克对OpenAI进行了一番嘲讽，称其为“CloseAI”，并在Grok开源后再次讽刺道：“告诉我们更多关于OpenAI的「open」部分…”这一行为再次凸显了他对开源的支持态度。

Grok的架构和细节

通过对model.py的分析，可以了解更多关于Grok的架构信息。Grok-1拥有8个混合专家（其中2个是活跃专家），总共有860B的活跃参数。它使用旋转嵌入代替固定位置嵌入，tokenizer词汇量为131,072，嵌入大小为6144等。

Grok的影响和展望

Grok的开源引发了AI社区的热烈讨论，其前向反馈层中使用的GeGLU和归一化方法等技术受到了广泛关注。即便是OpenAI的员工也表达了对Grok的浓厚兴趣。

对开源的反思

一些专家对于AI模型是否应该开源存在不同看法。虽然一些人担心开源会导致技术滥用，但另一些人认为开源的利大于弊。马斯克一直是开源技术的支持者，这次开源Grok也是他的一次尝试。

结语

Grok-1的开源不仅是对OpenAI的一次挑战，也为xAI在AI领域的地位和影响力增添了新的底气。未来，Grok的开源版本可能会鼓励更多的开发者和客户采用该模型，同时也将加速xAI的发展和创新。