小扎新开源的Llama3.1，要带着套壳大模型追平GPT-4o？

本文链接：https://blog.csdn.net/mama19971023/article/details/140740001

三个月过去了，当初的 “开源落后论” 再一次被打脸。

而打脸的人，仍然是上次那位，元宇宙倡导者，前半职业拳击手，潜伏在硅谷的纯正蜥蜴人，扎克伯格。

好吧不卖关子了，简单来说就是，开源 AI 界扛把子 Meta AI ，昨晚更新他们最新最强的大模型， Llama3.1 。

这玩意跟上次 Llama3 一样也是三个版本，除了同参数量的 80 亿和 700 亿，这次最亮眼的是他们的超大杯，在老黄数万显卡的供应下，小扎的新模型用了足足 4050 亿参数！

而它的性能，也号称已经完全追上 ChatGPT4o 和 Claude3.5-Sonnet ，像长文本和数学这些方面甚至超过他俩。这回啊，是开源的胜利！

硅谷的其他大佬也对这个模型相当看好，斯坦福大学计算机教授、谷歌 AI 负责人 Andrew Ng 感慨道， Meta 的这次更新，对所有人来说都是超赞的礼物。

英伟达科学家， AI 实验室负责人 Jim Fan 甚至认为，比肩 GPT-4 的力量已经发送到大家手中了，这是个历史性时刻！

不少媒体也跟着炸裂，宣称 AGI 之路近在眼前了，不过世超我还是先泼一盆冷水，劝大家先别急着狂热了，因为人家 Meta AI 官方这次，也放出了Llama3.1 的详细论文，足足 90 页。

这个版本究竟改进了什么地方，是不是真有吹的这么神，那论文里其实都写上了。

咱们也花了一个下午，研究了一番，发现这篇论文涵盖了预处理、生成训练、推理训练、退火迭代、多模态评估等流程，但核心其实说的就是两件事，一是大量的训练，二是训练里做了些优化。

首先咱就说训练这方面，他们就下了大功夫，做了算力和数据的扩充。

毕竟人家用了 1.6 万台 H100 跑了 3930 万 GPU 小时（相当于单块 GPU3930 万个小时的计算量）。运算规模比 Llama2 翻了 50 倍，还填了包括多种语言的 15 万亿 Tokens ，相当于 7500 亿单词进去，而上代版本只有 1.8 万亿 Tokens 。模型上下文窗口也从 8K 增加到 128K ，扩展了 16 倍。

数据和运算规模上去了，能力肯定也就上来了，突出一个力大砖飞。毕竟这么多东西，要咱学大概率摆烂学不动，但人家 AI 是真学啊。

其次，除了填鸭式训练，训练内容里的优化和微调也挺重要的，这也是他们能快速进步的另一个原因。比如说在刚开始处理训练信息的时候，他们就用了一些算法，来清理重复内容和垃圾信息，提高训练数据的质量。

你可别说这操作不重要，上回某知名 AI 就在中文垃圾信息上翻车了，成了贻笑大方的典型。

这里他们描述了重复数据删除和启发式过滤两个算法的步骤

而在模型结构上，为了照顾这么大量的数据训练， Meta 也做了不少改进，像是把训练数据由 16 位精度降低到 8 位，这样不但能节省储存空间还方便计算，并且有利于在移动端部署。

不过这个办法别的厂家也不是没想到，只不过降低精度有可能会增加误差，导致大模型性能降低，而 Meta 在这个过程中则是通过 “ 行级量化 ” 等世超听都没听过的算法，来拿捏这个误差的度，尽量做到两全其美。

除以之外，他们还放弃了用传统的强化学习算法来进行模型后处理，而是选择靠测试员的标注和监督，边反馈边迭代。

这么搞虽然比较费人，但能增加 Llama3.1 的可扩展性，也就是像后续要增加的图像、语音、视频识别等功能，生成的结果也会更加自然，跟人类认知对齐。

而其他厂商看到 Llama3.1 的开源大旗，也纷纷来投，尽管月活超 7 亿的厂家还得先申请，但到现在已经有 25 家企业都官宣要出基于 Llama3.1 的新模型。

这里面不但有亚马逊、戴尔这些大厂和 Groq 这样的新锐小厂，还有位居 AI 大幕背后的英伟达。。。

对，老黄也全面拥抱开源了，要把 Llama3.1 用到他家 AI Foundry 服务里。

说这么多，那这个进击的羊驼用起来是不是真这么牛逼哄哄呢？我们上手试了试，发现有些地方它做得确实可以，有些地方则也会翻车。

比如，在长文本阅读这个领域它有时候表现的就还可以，我们测试了让它回答十几轮问题之前的概念，发现它的确能在回答里反馈到当时给出的信息。

但面临没提供过的信息，他也会胡说八道。比如当我们提问他自己哪年发布的时候他也说不准，因为它的训练数据是截止去年年底的。

而在经典弱智吧训练方面， Llama3.1 也会出现抽象的情况，这方面表现的真不如隔壁 Gemini 。

上图为 Llama3.1 ，下图为 Gemini

数据推理上，像用前几天考倒了众多 AI 的 9.11 和 9.9 谁大问题，他也搞不定。

Llama3.1 的表现跟 GPT-4o 相比不能说云泥之别也只能说难兄难弟，甚至还装模作样的硬给解释他们的错误答案。

而隔壁 Claude3-Sonnet 就薄纱了这哥俩，瞧瞧人家这推理，怪不得人家这块比你俩得分高。

左边为 Claude3-Sonnet ，右边为 GPT-4o-mini

那是不是这个 Llama3.1 啥啥都不行呢？话也不能这么说，虽然上面展示了一些翻车案例，但这倒也不能代表 Llama3.1 的真实实力就这样。

主要官方给的这个模型版本，相当于一个完全没优化的基本型号，毛坯房。而它的优势在于后期用户可以在它里面安排各种定制化操作，相当于把毛坯房翻修出花来，到时候才会展现这玩意的真正功力。

也就是说， Llama 的意义在于开源后创作者们的调教和微操，这才是这类开源模型的独到之处。

不过这也不意味着 Meta 这波就一下翻身了，比 OpenAI 牛逼了。虽然开源的 Llama3.1 拓展性会很强，但毕竟它的底子其实也没有跟 ChatGPT4o 拉开太大差距。

而且 Meta 发力的时候人家 OpenAI 肯定也没闲着， ChatGPT5 大概率会带来新的领先优势。

说到底，开源和闭源各有优势，但谁一定会颠覆谁那倒真不一定。

从 Llama2 到 3 到 3.1 ，的确是开源党的节节胜利，但后续是不是跟扎克伯格在昨天访谈里说的一样， Llama 会变成 AI 时代的 Linux ，目前来说其实很难定论，也有可能会变成 iOS 之于安卓这种并存的关系。

至于 AGI 之路是不是能靠开源的 LLM 模型走到，扎克伯格是挺看好的，但 AI 圈里的老熟人杨乐坤还是认为犹未可知。

不过对于这次 Llama3.1 取得的进步，他却表示：虽然成不了 AGI ，但这玩意确实有用啊。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~
在这里插入图片描述

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！
在这里插入图片描述
💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
在这里插入图片描述
💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。