Llama成大模型顶流，扎克伯格开始掀桌子了！不服来战。。。。

最新推荐文章于 2024-11-08 17:19:30 发布

深度学习技术前沿

最新推荐文章于 2024-11-08 17:19:30 发布

阅读量97

点赞数

文章标签： llama

原文链接：https://mp.weixin.qq.com/s?__biz=MzU2NDExMzE5Nw==&mid=2247542161&idx=2&sn=008765dea9eaeff59effb6542d06c789&chksm=fd81b035254a3551a4f8a9344e03324d6976c9501f21ee158569a062c2310ba10da61b5f310d&scene=126&sessionid=0

版权

来源：机器之心

开源与闭源的纷争已久，现在或许已经达到了一个新的高潮。

说到开源大模型，Llama 系列自诞生以来就是典型代表，其优秀的性能与开源特点让人工智能技术的应用性和可访问性大大提升。任何研究人员和开发者都能够从中获益，让研究和应用变得更加广泛。

现在，Meta Llama 3.1 405B 正式发布。在官方博客中，Meta 表示：「直到今天，开源大语言模型在功能和性能方面大多落后于封闭模型。现在，我们正在迎来一个开源引领的新时代。」

与此同时，Meta 创始人、CEO 扎克伯格亲自撰写长文阐述开源对所有开发者、对 Meta、对世界的意义。他表示，开源是 AI 积极发展的必要条件。以 Unix 和 Linux 的发展为例，开源 AI 将更有利于创新、数据保护和成本效益。

他还认为，开源 Llama 模型能够建立一个完整的生态系统，确保技术进步，并且不会因为竞争而失去优势。Meta 有着成功的开源历史，通过开源 AI 模型，扎克伯格希望促进全球技术的平等和安全应用。

原文链接：https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

以下是原文内容：

扎克伯克为 Meta 注入开源基因

在高性能计算的早期，各大主流科技公司都投入大量资金开发各自的闭源 Unix 版本。当时很难想象会有其他方法能开发出如此先进的软件。

然而，开源的 Linux 逐渐流行起来：最初是因为它允许开发人员自由修改代码且价格更实惠，而后来它变得更先进、更安全，并且拥有比任何闭源 Unix 更广泛的生态系统，支持更多的功能。今天，Linux 已成为云计算和运行大多数移动设备的操作系统的行业标准基础，大家都因其卓越的产品受益。

我相信人工智能的发展也与其发展轨迹类似。今天，一些科技公司正在开发领先的闭源模型，但开源正在迅速缩小差距。

去年，Llama 2 仅能与一代旧型号相媲美。而在今年，Llama 3 在某些领域已经可以与行业中领先的模型竞争甚至领先。明年开始，我们预计未来的 Llama 模型将成为行业中最先进的大模型。在此之前，Llama 也已经在开放性、可修改性和成本效益方面领先。

今天，我们正迈出下一步 —— 使开源 AI 成为行业标准。我们发布了首个前沿级开源 AI 模型 Llama 3.1 405B，以及改进版的 Llama 3.1 70B 和 8B 模型。较于闭源模型，这些开源模型在成本效益上显著提升，特别是 405B 模型的开源特性，使其成为微调和蒸馏小型模型的最佳选择。

除了发布这些模型，我们还与多家公司合作，拓展更广泛的生态系统。亚马逊、Databricks 和英伟达正在推出全套服务，支持开发者微调和蒸馏他们自己的模型。像 Groq 这样的创新者已经为所有新模型构建了低延迟、低成本的推理服务。

这些模型将在包括 AWS、Azure、Google、Oracle 等所有主要云平台上可用。Scale.AI、戴尔、德勤等公司已经准备好帮助企业采用 Llama 并使用他们自己的数据训练定制模型。随着社区的成长和更多公司开发新服务，我们可以共同使 Llama 成为行业标准，并将 AI 的益处带给每个人。

Meta 致力于开源 AI，以下是我认为开源是最佳开发平台的原因，为什么开源 Llama 对 Meta 有利，以及为什么开源 AI 对世界有益，并由此将长期存在。

开源 AI 之于开发者

当我与全球的开发者、CEO 和政府官员交谈时，通常听到几个主题：

我们需要训练、微调和蒸馏自己的模型。每个组织都有不同的需求，这些需求最好通过使用不同规模并使用特定数据训练或微调的模型来满足。设备上的任务和分类任务需要小型模型，而更复杂的任务则需要大型模型。现在，你可以使用最先进的 Llama 模型，继续用自己的数据训练它们，然后将它们蒸馏成最适合你需求的模型规模 —— 无需我们或任何其他人看到你的数据。
我们需要掌控自己的命运，而不是被闭源供应商「锁死」。许多组织不希望依赖他们无法自己运行和控制的模型。他们不希望闭源模型供应商能够更改模型、改变使用条款，甚至完全停止服务。他们也不希望被锁定在拥有模型专有权的单一云平台上。开源使得兼容工具链的广泛生态系统成为可能，你可以轻松地在这些工具之间切换。
我们需要保护我们的数据。许多组织处理需要保护的敏感数据，无法通过云 API 发送到闭源模型。一些组织则根本不信任闭源模型供应商对其数据的处理。开源解决了这些问题，因为它使你可以在任何你想要的地方运行模型。众所周知，开源软件会因为开发过程更加透明，而更安全。
我们需要一个高效且经济的模型。开发者可以在自己的基础设施上运行 Llama 3.1 405B，进行推理，成本大约是使用闭源模型（如 GPT-4）的 50%，适用于用户端和离线推理任务。
我们希望投资于将成为长期标准的生态系统。许多人看到开源的发展速度快于封闭模型，他们希望在能够长期提供最大优势的架构上构建自己的系统。

开源 AI 之于 Meta

Meta 的商业模式是为人们构建最佳体验和服务。为了实现这一目标，我们必须确保始终能够获取最佳技术，而不是被锁定在竞争对手的封闭生态系统中，这样他们就不能限制我们所开发的内容。

我想分享一个重要经历：虽然苹果公司允许我们在其平台上构建内容，但是当我们构建服务时仍受到了限制。无论是他们对开发者的税收、他们施加的任意规则，还是他们阻止的所有产品创新，显而易见，如果我们能够构建产品的最佳版本，并且竞争对手无法限制我们构建的内容，Meta 和许多其他公司将能够为人们提供更好的服务。从哲学层面上讲，这也是我如此坚信在 AI 和 AR/VR 领域为下一代计算机建立开放生态系统的一个重要原因。

人们常常问我是否担心因为开源 Llama 而失去技术优势，但我认为这忽略了大局，原因有以下几点：

首先，为了确保我们能够长期保持技术领先，并且不被锁定在闭源生态系统中，Llama 需要发展成一个完整的生态系统，包括工具、效率改进、硬件优化和其他集成。如果只有我们公司使用 Llama，这个生态系统将不会发展，我们的境况也不会比 Unix 的闭源变种好多少。

其次，我预计 AI 开发将继续保持高度竞争，这意味着在任何给定时刻，开源某个模型不会使我们在与下一个最佳模型的竞争中失去巨大优势。Llama 成为行业标准的途径是通过一代又一代地保持竞争力、高效性和开放性。

第三，Meta 与闭源模型提供商的一个关键区别在于，销售 AI 模型的访问权限并不是我们的商业模式。这意味着公开发布 Llama 不会削弱我们的收入、可持续性或投资研究的能力，而闭源提供商则会受到影响。（这也是为什么一些闭源提供商一直在游说公共管理者反对开源的原因之一。）

最后，Meta 在开源项目上有着丰富的成功经验。通过与开放计算项目分享我们的服务器、网络和数据中心设计，并使供应链标准化，我们节省了数十亿美元。通过开源 PyTorch、React 等领先工具，我们从生态系统的创新中受益匪浅。这种方法长期以来一直极具效果。

开源 AI 之于世界

我相信开源对于 AI 的未来是有必要的。AI 比任何其他现代技术都更有潜力提高人类的生产力、创造力和生活质量，并且能够在加速经济增长的同时推动医学和科学研究的进步。开源将确保全球更多的人能够从 AI 的发展中获得利益和机会，权力不会集中在少数几家公司手中，并且技术能够更均匀和安全地在社会中部署。

关于开源 AI 模型的安全性，存在着持续的争论。我的观点是，开源 AI 将比替代方案更安全。我认为各国政府最终会得出支持开源的结论，因为这将使世界更加繁荣和安全。

在我理解的安全性框架中，我们需要防范两类危害：无意和故意。

无意的危害是指 AI 系统可能在运行时非故意地造成伤害。例如，现代 AI 模型可能在无意中给出错误的健康建议。或者，在未来场景中，有人担心模型可能会无意中自我复制或过度优化目标，从而对人类造成损害。
故意的危害是指不良行为者使用 AI 模型以造成伤害为目的。

值得注意的是，无意的危害涵盖了人们对 AI 的多数担忧 —— 从 AI 系统对数十亿用户的影响到大多数真正灾难性的科幻场景。在这方面，开源所带来的安全性更加显著，因为系统更透明，可以被广泛审查。

历史上，开源软件由于这一原因一直更安全。同样，使用 Llama 及其安全系统如 Llama Guard，可能会比闭源模型更安全和更可靠。因此，大多数关于开源 AI 安全性的讨论集中在故意的危害上。

我们的安全流程包括严格的测试和红队评估，以检验我们的模型是否有可能造成实质性伤害，此目标是在发布前减轻风险。由于这些模型是开源的，任何人都可以自行进行测试。我们必须牢记，这些模型是通过互联网上已有的信息训练的，所以在考虑危害时，起点应该是模型是否能比从 Google 或其他搜索结果快速获取的信息造成更多的危害。

通过区分个体或小规模行为者与拥有大量资源的大规模行为者（如国家）所能做的事情，将会有益于推理故意伤害。

在未来的某个时候，个别恶意行为者可能会利用 AI 模型的智能，从互联网上现有的信息中制造出新型危害。在这一点上，力量的均衡对 AI 安全至关重要。

我认为生活在一个 AI 广泛部署的世界中会更好，因为这样可以使大型行为者制衡小型恶意行为者。这也是我们在社交网络上管理安全的方式，凭借更强大的 AI 系统识别并阻止那些经常使用小规模 AI 系统的不太复杂的行为者。

更广泛地说，大型机构在大规模部署 AI 时将促进社会的安全和稳定。只要每个人都能访问类似代际的模型，那么拥有更多算力资源的政府和机构将能够制衡拥有较少计算资源的恶意行为者。

在考虑未来的机遇时，请记住，今天的大多数领先科技公司和科学研究都是建立在开源软件之上的。如果我们共同投资于开源 AI，下一代公司和研究就会获得使用的机会。这包括刚刚起步的初创企业，以及那些可能没有资源从头开发 SOTA AI 的大学和国家的人们。

总而言之，开源 AI 代表了在全球范围内我们可以利用这项技术为所有人创造最大的经济机会和安全保障。

合作行稳，开源致远

在过去的 Llama 模型中，Meta 为自身开发发布了这些模型，但并未重点关注建立更广泛的生态系统。这次发布，我们采取了不同的方式。我们正在内部组建团队，使尽可能多的开发者和合作伙伴能够使用 Llama，并且积极建立合作伙伴关系，以便生态系统中的更多公司能够为他们的客户提供独特的功能。

我相信 Llama 3.1 的发布将成为行业的一个转折点，大多数开发者将开始使用开源技术，我预计这种方式将会以我们的开源为起点。

我希望我们可以共同努力将 AI 的益处带给全世界。

你现在可以在 llama.meta.com 上访问这些模型。