就在刚刚,马斯克的xAI已开源其大语言对话模型Grok-1!附详细解读和链接!

大家好,我是木易,一个持续关注AI领域的互联网技术产品经理,国内Top2本科,美国Top10 CS研究生,MBA。我坚信AI是普通人变强的“外挂”,所以创建了“AI信息Gap”这个公众号,专注于分享AI全维度知识,包括但不限于AI科普AI工具测评AI效率提升AI行业洞察。关注我,AI之路不迷路,2024我们一起变强。

北美时间3月17日,就在刚刚,马斯克的人工智能公司xAI已开源其大语言对话模型Grok-1!

3月11日,埃隆·马斯克表示xAI将开源其AI聊天机器人Grok。

3月17日的今天,3140亿(314B)参数的专家混合大型语言模型Grok-1已在GitHub上提供开放源代码版本,这将使研究人员和开发人员能够在该模型的基础上进行构建。Grok-1是一个未经特定应用微调的原始预训练模型,其训练基于JAX和Rust之上的定制训练栈。发布遵循Apache 2.0许可证,允许自由使用和修改。为了帮助用户入门,提供了GitHub页面上的详细指南。此外,博文还展示了一张由Midjourney生成的3D神经网络插图,该插图根据Grok提出的提示,以透明节点和发光连接来形象化模型中的权重分布。

  1. 模型介绍

    • Grok-1是一个拥有3140亿(314B)参数的专家混合模型(Mixture-of-Experts, MoE)。

    • 该模型由xAI公司从头开始训练,未使用任何特定应用的预训练数据集。

  2. 发布内容

    • 发布的是Grok-1模型的原始基础模型权重和网络架构。

    • 这些资源是在Grok-1的预训练阶段结束时的检查点,该阶段于2023年10月完成。

    • 由于模型没有针对特定应用进行微调,因此它可能不适用于直接的对话或其他特定任务。

  3. 许可协议

    • 权重和架构的发布遵循Apache 2.0许可证,这意味着它们可以被自由使用、修改和分发。

  4. 如何使用

    • 为了开始使用Grok-1模型,用户可以参考位于github.com/xai-org/grok的指南和文档。

  5. 模型细节

    • Grok-1在大量文本数据上进行了训练,但并未针对任何特定任务进行优化。

    • 在模型中,大约有25%的权重会在处理任何给定标记时活跃,这是专家混合模型的一个特点,其中不同的“专家”(即模型的不同部分)负责处理不同类型的信息。

    • 训练工作是在2023年10月使用xAI的定制训练栈完成的,该训练栈建立在JAX和Rust之上。

  6. 封面图片

    • 博文的封面图片是通过Midjourney使用Grok提出的提示生成的。

    • 图片展示了一个3D神经网络插图,其中节点是透明的,连接是发光的,并且连接线的粗细和颜色代表了权重的不同。

  1. 相关链接
    • xAI博文地址:https://x.ai/blog/grok-os

    • Grok-1 Github地址:https://github.com/xai-org/grok-1

    • Grok-1数据集地址:https://academictorrents.com/details/5f96d43576e3d386c9ba65b883210a393b68210e


精选推荐

  1. 完全免费白嫖GPT4的三个方法,都给你整理好了!

  2. AI领域的国产之光,ChatGPT的免费平替:Kimi Chat!

  3. Kimi Chat,不仅仅是聊天!深度剖析Kimi Chat 5大使用场景!

  4. 我用AI工具5分钟制作一个动画微电影!这个AI现在免费!

  5. 当全网都在疯转OpenAI的Sora时,我们普通人能做哪些准备?——关于Sora,你需要了解这些!

  6. 文心一言4.0 VS ChatGPT4.0哪家强?!每月60块的文心一言4.0值得开吗?

  7. ChatGPT和文心一言哪个更好用?一道题告诉你答案!

  8. 字节推出了“扣子”,国内版的Coze,但是我不推荐你用!

  9. 白嫖GPT4,Dalle3和GPT4V - 字节开发的Coze初体验!附教程及提示词Prompt

  10. 2024年了你还在用百度翻译?手把手教会你使用AI翻译!一键翻译网页和PDF文件!


都读到这里了,点个赞鼓励一下吧,小手一赞,年薪百万!😊👍👍👍。关注我,AI之路不迷路,原创技术文章第一时间推送🤖。

  • 23
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值