马斯克开源的大模型Grok-1

马斯克开源的大模型是Grok-1

Grok-1是一个参数量达到3140亿的AI大语言模型，其规模超越了OpenAI GPT-3.5的1750亿参数，是目前世界上最大的开源LLM大语言模型。马斯克通过其旗下的AI公司xAI开发了这一模型，并在过去4个月内采用Mixture-of-Experts（MOE）技术进行了开发和改进。

开源Grok-1的决定不仅为研究人员和开发人员提供了更多的创新机会，也进一步推动了AI领域的发展。马斯克此举体现了对开源文化的重视，并为整个开源社区树立了榜样。通过开源，研究人员和开发人员可以在Grok-1模型的基础上进行进一步开发和创新，从而加速AI技术的进步。

开发时间方面，马斯克旗下的AI创企xAI在2023年11月推出了第一代大语言模型Grok，其中Grok-0是最初的版本，拥有330亿参数。随后，经过数次改进，推出了Grok-1。这一过程中，xAI采用了Mixture-of-Experts（MOE）技术，并对模型进行了持续的优化和增强。

开源时间方面，马斯克在2024年3月17日正式宣布开源Grok-1。这一决定兑现了马斯克此前的承诺，并且为全球的AI研究者和开发者提供了宝贵的资源。开源的Grok-1模型是2023年10月完成预训练阶段的基础模型数据，它并未针对任何具体任务进行微调，这为后续的研究和应用提供了极大的灵活性。

Grok-1是当前世界上参数最大的、开源大语言模型。296GB的大小，基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调;3140亿参数的MoE模型，在给定token上的激活权重为25%;2023年10月，xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。

开源就是开放源代码，说白了就是开放专利，公开技术但仍需要有足够的GPU才能运行。

可能需要一台拥有628GB GPU内存的机器。

英伟达Tesla A100 80G(原版PCIE)京东售价16万，仅8块GPU就接近百万。

其他硬件配置就更不用说了，平民根本玩不起，