Llama 3.2 它来了～主打 VLM+轻量化

Python编程杰哥

于 2024-09-26 20:12:21 发布

阅读量403

点赞数 6

文章标签： llama 人工智能 easyui 前端设计模式 microsoft

本文链接：https://blog.csdn.net/xx_nm98/article/details/142576535

版权

原文链接：https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/

今天，我们发布了Llama 3.2版本，其中包括适用于边缘设备和移动设备的小型和中型视觉LLM（11B和90B），以及适用于轻量级文本模型（1B和3B）。

羊驼3.2 1B和3B模型支持128K个令牌的上下文长度，在设备上的使用案例如摘要、指令跟随和本地边缘运行的重写任务方面处于同类产品的领先地位。这些模型在Qualcomm和MediaTek硬件上从第一天起即可启用，并已针对ARM处理器进行了优化。

在广泛的生态系统支持下，Llama 3.2 11B和90B视觉模型是与其对应的文本模型等效的可直接替换的模型，但在图像理解任务上优于封闭模型，如Claude 3 Haiku。与其他开源多模态模型不同，Llama 3.2 11B和90B模型既可以使用torchtune进行定制化微调，也可以使用torchchat部署到本地，并且可以通过我们的智能助手Meta AI进行试用。

我们正在分享第一个官方的Llama Stack分发版本，这将大大简化开发者在不同环境中使用Llama模型的工作方式，包括单节点、本地部署、云端和设备端，从而实现对检索增强生成（RAG）和集成了安全性的工具驱动应用程序的即插即用部署。

我们一直与AWS、Databricks、戴尔科技、Fireworks、Infosys和Together AI等合作伙伴紧密合作，为下游企业客户构建Llama Stack分发版本。在设备本地分发方面，我们使用PyTorch ExecuTorch，而在单节点分发方面，则使用Llama。

我们将继续分享我们的工作，因为我们相信开放推动创新，对Meta、开发者和世界都有好处。Llama已经在开放性、可修改性和成本效益方面走在了前列，使更多人能够使用生成式AI创造出有用的、改变生活的突破性成果。

我们将在llama.com和Hugging Face网站上提供Llama 3.2版本的下载，并且可以在我们的广泛的合作伙伴平台生态系统上立即进行开发，包括AMD、AWS、Databricks、Dell、Google Cloud、Groq、IBM、Intel、Microsoft Azure、NVIDIA、Oracle Cloud和Snowflake等。

我们对Llama 3.1模型集自发布以来两个月内所产生的影响感到兴奋，其中包括首个开源的前沿级AI模型405B。虽然这些模型功能强大，但我们也认识到，使用它们需要大量的计算资源和专业知识。我们还听到了一些开发者的反馈，他们没有这些资源，但仍希望有机会使用Llama。正如Meta创始人兼首席执行官马克·扎克伯格在Connect大会上所分享的，他们不再需要等待了。今天，我们推出了Llama 3.2版本，其中包括适用于边缘设备和移动设备的小型和中型视觉LLM（11B和90B）以及轻量级的纯文本模型（1B和3B）。

我们宣布Llama至今才一年半，但在如此短的时间内我们取得了惊人的进展。今年，Llama实现了10倍的增长，成为负责任创新的标准。Llama继续在开放性、可修改性和成本效益方面保持领先地位，在某些方面甚至优于封闭模型。我们相信开放推动创新，是前进的正确道路，因此我们将继续与合作伙伴和开发人员社区分享我们的研究成果并进行合作。

我们将在llama.com和Hugging Face网站上提供Llama 3.2版本的下载，并在我们的广泛的合作伙伴平台生态系统中提供即时开发功能。合作伙伴是这项工作的重要组成部分，我们已与25家公司合作，包括AMD、AWS、Databricks、Dell、Google Cloud、Groq、IBM、Intel、Microsoft Azure、NVIDIA、Oracle Cloud和Snowflake，以在第一天就启用服务。对于Llama 3.2版本的发布，我们还与在设备上合作的Arm、MediaTek和Qualcomm一起提供广泛的服务。从今天开始，我们还将向社区开放Llama Stack。有关最新版本的更多详细信息，包括欧洲多模态可用性的信息，可以在我们的使用条款中找到。

Meet Llama 3.2

拉玛3.2系列的两个最大模型11B和90B支持图像推理用例，例如文档级理解，包括图表和图形的理解，图像的描述和视觉锚定任务，例如根据自然语言描述在图像中定向定位物体。例如，一个人可以询问去年的哪个月份他们的小型企业销售额最好，拉玛3.2可以根据可用的图表进行推理，并迅速提供答案。在另一个例子中，模型可以与地图交互，帮助回答诸如何时徒步旅行可能会变得更加陡峭或地图上标记的特定小径的距离等问题。11B和90B模型还可以通过从图像中提取细节、理解场景，然后编写一两句话来填补视觉与语言之间的差距，这些话可以用作图像描述，以帮助讲述故事。

轻量级的1B和3B模型具有多语言文本生成和工具调用能力。这些模型使开发人员能够构建具有高度隐私保护的、在设备上运行的个性化、主动应用，其中数据不会离开设备。例如，这样的应用可以帮助总结收到的最近10条消息，提取行动项，并通过工具调用直接发送后续会议的日程邀请。

在本地运行这些模型具有两大优势。首先，由于处理是在本地进行的，所以提示和响应感觉是即时的。其次，在本地运行模型可以保护隐私，因为不会将诸如消息和日历信息等数据发送到云端，从而使整个应用程序更加私密。由于处理是在本地进行的，因此应用程序可以清楚地控制哪些查询应该在设备上进行，哪些可能需要由云端的更大模型进行处理。

Model evaluations

我们的评估表明，Llama 3.2 视觉模型在图像识别和一系列视觉理解任务上的表现与领先的基础模型 Claude 3 Haiku 和 GPT4o-mini 相当。3B 模型在执行指令、摘要、提示重写和工具使用等任务时表现优于 Gemma 2 2.6B 和 Phi 3.5-mini 模型，而 1B 模型则与 Gemma 相当。

我们在涵盖多种语言的150多个基准数据集上评估了模型的表现。对于视觉LLM，我们评估了其在图像理解和视觉推理方面的表现。

作为首款支持视觉任务的拉玛（Llama）模型，11B和90B模型需要全新的模型架构来支持图像推理。

为了支持图像输入，我们训练了一组适配器权重，将预训练的图像编码器集成到预训练的语言模型中。适配器由一系列交叉注意力层组成，将图像编码器的表示输入到语言模型中。我们将适配器训练在文本-图像对上，以使图像表示与语言表示对齐。在适配器训练期间，我们还更新了图像编码器的参数，但故意不更新语言模型的参数。通过这样做，我们保留了所有仅针对文本的功能，为开发人员提供了一个与Llama 3.1模型完全兼容的替换方案。

我们的训练管道包含多个阶段，从预训练的Llama 3.1文本模型开始。首先，我们添加图像适配器和编码器，然后在大规模嘈杂的（图像，文本）对数据上进行预训练。接下来，我们在中等规模的高质量域内数据和知识增强的（图像，文本）对数据上进行训练。

在模型训练完成后，我们采用与文本模型类似的方法，通过几轮监督微调、拒绝采样和直接偏好优化的对齐操作来进行模型训练。我们利用Llama 3.1模型进行合成数据生成，对域内图像上的问题和答案进行过滤和增强，并使用奖励模型对所有候选答案进行排序，以提供高质量的微调数据。我们还添加了安全缓解数据，以生成同时具有高安全性和有用性的模型。

最终的结果是一套可以同时接收图像和文本提示的模型，能够深入理解并对两者的组合进行推理。这又朝着拉玛模型拥有更加丰富的主动能力迈出了一步。

Lightweight models

正如我们在讨论Llama 3.1时所提到的，强大的教师模型可以被用来创建更小的模型，从而提高其性能。我们对1B和3B模型使用了两种方法——修剪和精简，使其成为第一个能够高效地在设备上运行的高性能Llama轻量级模型。

剪枝使我们能够在保留现有模型性能的同时减小其大小。对于1B和3B模型，我们采用了一次性的结构剪枝方法，从Llama 3.1 8B开始。这种方法系统地移除了网络的部分结构，并调整了权重和梯度的幅度，以创建一个更小、更高效的模型，并保留了原始网络的性能。

知识蒸馏使用较大的网络向较小的网络传授知识，其理念是，较小的模型可以通过使用教师模型（较大的模型）来实现比从头开始更好的性能。对于Llama 3.2中的1B和3B模型，我们在模型开发的预训练阶段将Llama 3.1 8B和70B模型的logits纳入其中，其中这些较大模型的输出（logits）被用作token级别的目标。在剪枝之后，我们使用知识蒸馏来恢复性能。

在模型训练完成后，我们采用了与Llama 3.1类似的方法，在预训练模型的基础上进行多轮对齐，以生成最终的聊天模型。每一轮都包括监督微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO）。

在后训练阶段，我们将上下文长度支持扩展到128K个token，同时保持与预训练模型相同的质量。我们还进行了合成数据生成，通过精心的数据处理和过滤来确保高质量。我们仔细地将数据混合起来，以优化多个能力（如摘要、重写、指令遵循、语言推理和工具使用）的高质量。

为了让社区能够在上述模型上进行创新，我们与全球前两大移动系统级芯片（SoC）厂商高通和联发科以及Arm紧密合作，后者为99%的移动设备提供基础计算平台。今天发布的模型权重基于BFloat16数值。我们的团队正在积极探索量化变体，以实现更快的运行速度，并希望不久后能与大家分享更多相关信息。

Llama Stack distributions

今年7月，我们发布了关于Llama Stack API的征求意见稿，这是一个标准化的接口，用于定制Llama模型并构建具有智能的应用程序（例如微调和合成数据生成）。反馈非常积极。

从那时起，我们一直在努力实现API的可操作性。我们构建了一个用于推理、工具使用和RAG的API参考实现。此外，我们一直在与合作伙伴合作，将它们调整为API的提供者。最后，我们推出了Llama Stack Distribution，这是一种将多个协同工作的API提供者打包在一起，为开发人员提供单一端点的方法。我们现在正在向社区分享一个简化且一致的体验，使他们能够在包括本地部署、云端、单节点和设备在内的多个环境中使用Llama模型。

我们期待与开发人员和合作伙伴合作，简化使用Llama模型构建的各个方面，并欢迎反馈。

System level safety 系统级安全

采取开放的态度有很多好处。它有助于确保世界各地更多的人能够获得人工智能提供的机会，防止将权力集中在少数人手中，并更公平、更安全地在社会中部署技术。随着我们继续创新，我们还希望确保赋能开发者构建安全、负责任的系统。

在我们之前的版本基础上，并持续致力于支持负责任的创新，今天我们为我们的安全防护体系添加了新的更新：

首先，我们推出了Llama Guard 3 11B Vision，旨在支持Llama 3.2的新图像理解功能，并过滤文本图像输入提示或文本输出响应这些提示。

其次，随着我们将1B和3B Llama模型发布用于在设备上等更为受限的环境中，我们也对Llama Guard进行了优化，大幅降低了其部署成本。Llama Guard 3 1B基于Llama 3.2 1B模型，经过了剪枝和量化处理，使其大小从2.858 GB降至438 MB，使其部署效率比以往任何时候都更高。

这些新解决方案已集成到我们的参考实现、演示和应用程序中，并已准备好供开放源码社区在第一天使用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述