Meta 的新大型语言模型将在英特尔和高通硬件上运行

开源的大型语言模型将很快在各大硬件平台上提供。
Meta 发布了最新的大型语言模型 （LLM） Llama 3，可提供更安全、更准确的生成式 AI 体验。除了 LLM 之外，Meta 还推出了 Llama Guard 2、Code Shield 和 CyberSec Eval 2 信任和安全工具，以帮助确保符合行业和用户的安全期望。虽然 Meta 仍在开发 Llama 3 AI 模型，但该公司现在正在向公众发布前两个模型。

开源的 Llama 3 将安全性融入到模型中，并提供多平台硬件支持。Meta 指出，对 Llama 3 的支持将很快在所有主要平台上提供，包括云提供商和模型 API 提供商。即将托管Llama 3 LLM的公司包括AWS，Databricks，Google Cloud，Hugging Face，Kaggle，IBM WatsonX，Microsoft Azure，Nvidia NIM和Snowflake。LLM 还将在 AMD、AWS、戴尔、英特尔、英伟达和高通的硬件上得到支持。

Qualcomm 和 Intel 在硬件平台上快速运行 Llama 3
生成式 AI 的处理器必须快速移动大量数据，并以大规模并行操作处理数学运算。这适用于所有类型的处理器，无论是图形处理单元 （GPU）、神经处理单元 （NPU） 还是张量处理单元 （TPU） 与高性能 CPU 协同工作。GPU、NPU 和 TPU 可以是独立的高性能协处理器，也可以是集成到片上系统 （SoC） 处理器中的内核。

高通公司使用 SoC 方法将 Llama 3 引入其移动处理器。该公司在 Llama 3 开发期间与 Meta 合作，以确保 LLM 与其旗舰 Snapdragon 产品兼容。骁龙处理器配备支持 AI 的 NPU、CPU 和 GPU 内核。

英特尔验证 英特尔已验证其 AI 产品组合

英特尔为首批 Llama 3、8B 和 70B 型号验证了其 AI 产品组合。图片由英特尔提供

英特尔还与 Meta 合作开发用于数据中心级处理器的 Llama 3。英特尔针对 Meta 的 LLM 版本 Llama 2 优化了其 Gaudi 2 AI 加速器，现在已经证明了加速器与 Llama 3 的兼容性。英特尔的至强、酷睿至尊和 Arc 处理器也已通过 Llama 3 的验证。

LLM，尤其是 Llama 3，是如何工作的？
AI LLM 解释数据集并将其转换为机器可解释的数据集。这使得生成式 AI 能够复制基于先验知识库构建的类似人类的体验。建模过程通过标记单词来实现这一点，就像软件编译器获取关键字并将它们标记成 CPU 操作码一样。语法、句法和标点符号等规则被标记化到治理中，用于 AI 解释和生成输出。

标记化的参数越多，输出就越准确，越像人。但是，参数的数量必须与计算负载相平衡，才能进行标记化、应用规则和解释。Llama 3 有两种不同的模型，一种是针对高端边缘 AI 的 80 亿个参数，例如用于手机处理器的参数，另一种是针对大型数据中心系统的 700 亿个参数。

Llama 3 使用 128-K 令牌词汇表进行高效编码。它对 8B 和 70B 模型使用分组查询注意力 （GQA）。这些模型使用 8,192 个令牌的序列进行训练。Meta 使用掩码来防止自我注意力越过文档障碍。

Llama 3 8B 和 70B 性能衡量标准。图片由 Meta 提供

在零样本学习（0-样本）测试中，人工智能模型没有专门针对问题中使用的数据进行训练。例如，当 AI 模型没有用鸭子的例子进行训练时，它将被要求识别鸭子。相反，它必须根据语义关系推断结果。

在 n-shot 学习 （n > 0） 测试中，模型已使用至少 n 个测试问题数据示例进行训练。思维链 （CoT） 测试数学和物理等复杂任务的 AI 推理。Meta 使用一个新的人类评估集对 Llama 进行了测试，该评估集包含 1,800 个提示，涵盖 12 个常见用例。

Meta 考虑 AI 安全
随着一年多来公众对人工智能的广泛使用，安全性、准确性和可靠性问题已成为人们关注的焦点。Meta 已经考虑到了这些问题，允许 AI 开发人员微调模型以确保每个应用程序的安全性。

Llama 3 系统级安全模型。图片由 Meta 提供

Meta 在测试用例和模型开发人员之间保持分离，以防止意外的过拟合。当复杂模型基本上记住训练数据而不是学习如何利用底层模式时，就会发生 LLM 过拟合。如果过度填充，LLM 在训练数据方面会非常有效，但处理新数据或不同数据的能力有限。一个严重过拟合的 LLM 会很好地模仿，但不会独立思考。

Llama 3 的下一步
人工智能是一项正在进行的工作，并将持续相当长的一段时间，正在开发的 Meta Llama 3 LLM 也不例外。

未来 Llama 3 性能预览。图片由 Meta 提供

尽管 Meta 公开了 8B 和 70B 型号，但该公司仍在训练 400B 参数版本。虽然 4000 亿个参数在更大的参数集下显示出准确性的提高，但将 400B+ 数字与 8B 和 70B 性能图表进行比较，可以发现某些基准测试的非线性回报。因此，很容易推断出更高的人工智能硬件要求不会很快放缓。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】