Meta发布Llama 3.2，Llama 终于能看见了！

最新推荐文章于 2024-10-09 21:12:14 发布
最新推荐文章于 2024-10-09 21:12:14 发布
阅读量821 收藏 15
点赞数 20
文章标签： llama 人工智能 大模型 AI大模型 AI LLM llama3.2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/star_nwe/article/details/142551106
版权

Llama家族再添新成员，多模态能力终于到来！

在这里插入图片描述

Meta刚刚发布了Llama 3.2模型系列，包括多模态视觉模型和小型文本模型，共计10个开放权重模型。

这次更新不仅带来了期待已久的视觉能力，还为移动设备和边缘计算提供了更多选择。

多模态Llama：视觉能力终于解锁

Llama 3.2 Vision模型终于为Llama家族带来了多模态能力。它提供了两种尺寸：

  • 11B版本：适合在消费级GPU上高效部署和开发
  • 90B版本：适用于大规模应用

90B版本中，其中18B用于新视觉功能。

并且，模型在视觉能力上超越了所有闭源模型。

这两个版本都有基础模型和指令微调变体。除此之外，Meta还发布了支持视觉的Llama Guard 3新版本，可以对模型输入和输出进行分类，包括检测有害的多模态提示或助手回复。

小而强大：1B和3B文本模型登场

Llama 3.2还推出了可在设备上运行的小型文本语言模型，包括1B和3B两种新尺寸，每种都有基础和指令变体。这些模型具有强大的能力：

  • 支持多语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语
  • 长上下文：支持128k token的长上下文
  • 性能出色：3B模型在IFEval基准测试上的表现与8B模型相当

这些小型模型非常适合提示重写、多语言知识检索、摘要任务、工具使用和本地运行的助手等应用场景。

技术细节：模型架构与训练

Llama 3.2 Vision模型的架构基于Llama 3.1 LLM与视觉塔和图像适配器的组合：

  • 11B Vision模型使用Llama 3.1 8B作为文本模型
  • 90B Vision模型使用Llama 3.1 70B作为文本模型

据了解，在训练视觉模型时，文本模型被冻结以保持文本性能。这些模型在包含60亿图像-文本对的大规模数据集上进行了训练。

小型文本模型遵循与Llama 3.1相同的架构，使用高达9万亿token进行训练，同样支持128k token的长上下文。

超强性能

Meta公布的基准测试结果显示，Llama 3.2 Vision模型在多个任务上表现出色：

  • MMMU（验证集）：11B模型达到50.7%，90B模型达到60.3%
  • VQAv2（测试集）：11B模型达到75.2%，90B模型达到78.1%
  • DocVQA（测试集）：11B模型达到88.4%，90B模型达到90.1%

小型文本模型的性能同样令人惊喜。在Open LLM Leaderboard评估中，3B模型在某些任务上甚至接近8B模型的表现。特别是在IFEval基准测试中，3B指令模型与8B指令模型表现相当，这使其非常适合需要严格遵循指令的应用场景。

许可变更：欧盟用户受限

值得注意的是，Llama 3.2的许可条款有一项重要变更：欧盟境内的个人或公司不被授予使用Llama 3.2多模态模型的许可权利。这一限制不适用于最终用户，因此开发者仍可使用这些模型构建面向全球的产品。
在这里插入图片描述

生态系统支持：便捷使用与部署

Hugging Face生态系统为Llama 3.2提供了全面支持：

  • 模型权重已上传至Hub
  • Transformers和TGI集成了Vision模型
  • 支持通过Inference Endpoints、Google Cloud、Amazon SageMaker和DELL Enterprise Hub进行推理和部署
  • 提供了在单个GPU上微调Llama 3.2 11B Vision的示例

此外，还可以使用TRL对文本模型进行聊天和微调，Vision模型的微调支持也已添加到TRL中。

Llama家族的重要里程碑

Llama 3.2的发布标志着Meta在大语言模型领域又迈出了重要一步。多模态能力的加入和小型高效模型的推出，为研究人员和开发者提供了更多可能性。

最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

在这里插入图片描述

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

5. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

在这里插入图片描述

AI老猴子
关注
开源模型应用落地-Meta-Llama-3.1-8B-Instruct与vllm-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-09 2万+
4090单机双卡部署vllm，并集成meta-llama-3.1-8b-instruct
大模型LLM | Llama3.2来了！支持多模态！手机也能用！
老皮的博客
09-26 914
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
LLaMA 3 技术报告解读：全面梳理 LLM 相关技术栈
xx_nm98的博客
07-30 1649
作者也进行了缩放法则实验，其 405B 模型是在给定训练预算下近似计算最优模型，而更小的模型（8B/70B）相比计算最优训练了更长的时间，以便在给定推理预算下最优（PS：这也是现在很多小模型的常见手段，小模型训练更长的时间，以便在推理时在更低成本下获得还不错的效果）。本周 Meta 发布了其最新的 LLaMA 3.1 系列模型，在社区中引起广泛关注和讨论，最大的 LLaMA 3.1 405B 模型原生支持 128K 上下文窗口，在各种基准上评估表明，其效果甚至媲美 GPT-4o 等领先的闭源模型。
Llama 3.2开源中小型视觉 LLM（11B 和 90B）和轻量级纯文本模型（1B 和 3B）
2401_85373898的博客
09-26 1059
1.今天，
Llama 3.2 它来了～ 主打 VLM+轻量化
xx_nm98的博客
09-26 1497
原文链接：https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/今天，我们发布了Llama 3.2版本，其中包括适用于边缘设备和移动设备的小型和中型视觉LLM（11B和90B），以及适用于轻量级文本模型（1B和3B）。羊驼3.2 1B和3B模型支持128K个令牌的上下文长度，在设备上的使用案例如摘要、指令跟随和本地边缘运行的重写任务方面处于同类产品的领先地位。
地表最强开源大模型！Llama 3.2，如何让你的手机变身私人智能助理
做一个道者
09-26 762
你有没有想过，为什么现在的手机越来越像小型电脑？无论是拍照、看视频，还是用各种APP，甚至是AI助手，手机的功能几乎无所不能。其实，这一切的背后有一个技术正在悄悄改变我们的生活，那就是Llama 3.2。它不仅仅是一款AI模型，它让智能手机变得更聪明，更高效。今天，我们就来聊聊Llama 3.2，看看它是如何彻底改变移动设备和边缘计算的。
一文了解：最新版本 Llama 3.2
qianggezhishen的专栏
09-28 1339
用户可以直接在设备上对大量文本进行摘要，比如电子邮件或会议记录，不需要依赖云服务。
Llama 3.2——同时具备文本和图像处理功能的开源模型
知来者逆的博客
09-29 1328
Llama 3.2 是 Meta 的 Llama 系列的最新版本，包含各种语言模型，旨在满足各种需求。最大和中等规模的模型包括 90 亿和 11 亿个参数，旨在处理包括文本和图像在内的多模态数据。这些模型可以有效地解释图表、图形和其他形式的视觉数据，使其适合在计算机视觉、文档分析和增强现实工具等领域构建应用程序。轻量级模型具有 1 亿和 3 亿个参数，专门用于移动设备。
Llama 3.2：开源可定制视觉模型，引领边缘AI革命
最新发布
m0_59235945的博客
10-09 1044
今天，Meta发布了 Llama 3.2，主要包括小型和中型视觉 LLM（11B 和 90B）以及适合边缘和端侧的轻量级纯文本模型（1B 和 3B），包括预训练和指令调整版本。Llama 3.2 1B 和 3B 模型支持 128K 令牌的上下文长度，在同类产品中处于较领先地位，适用于总结、指令跟踪和在边缘本地运行的重写任务等设备用例。Llama 3.2 11B 和 90B 视觉模型在图像理解任务上的表现优于封闭模型（例如 Claude 3 Haiku）。
Meta AI 发布 Llama 3.2
想都是问题，做才有答案～～
09-28 910
Meta AI 发布 Llama 3.2
Llama3微调教程：超简单，人人都可以打造属于自己的GPT！
huang9604的博客
05-21 2285
随着Llama 3的发布，国内各路英雄豪杰纷纷开启了炼丹之旅。Llama-3 8b在惊人的15万亿令牌上训练，而Llama-2仅为2万亿。毋庸置疑，Llama 3目前是开源大模型中能力最强的！其跑分成绩已经赶上了GPT-4。
如何在 Android 手机上运行 Llama 3.2，使用 Ollama 在 Android 上运行 Llama 3.2 和其他大型模型的分步指南
iCloudEnd的博客
10-01 895
在刚刚落下帷幕的 Meta 开发者大会上，Llama 3.2 惊艳亮相，这次不仅拥有多模态能力，还与 Arm 等公司合作，推出了专门针对高通、联发科硬件优化的“移动”版本。具体来说，Meta 发布了四种型号的 Llama 3.2：具有 110 亿和 900 亿个参数的多模态版本具有 10 亿和 30 亿个参数的轻量级纯文本模型据官方数据显示，Llama 3.2 11B与90B已展现出超越同等尺寸闭源型号的性能。
Llama 3.2 使用指南：工作原理及示例
程序员陆通
09-27 669
Meta AI 宣布发布 Llama 3.2，该版本引入了系列中的首批多模态模型。在本文中，我将梳理要点，重点介绍新的 Llama 3.2 模型的关键方面，包括它们的工作原理、用例、如何访问它们等等。
LLaMA 3.2 Vision 实践教程：使用 LLaMA 3.2 Vision ， LLaMA 3.2 Vision 如何集成先进的视觉感知和文本处理，实现强大的图像理解和 AI 驱动的文档分析
iCloudEnd的博客
10-01 457
人工智能领域正在迅速发展，人们越来越重视多模态人工智能——即模型处理和理解来自多种模态（如文本和图像）的输入的能力。Meta的 LLaMA 3.2 Vision是该领域最新、最先进的创新之一。这个强大的多模态模型集成了语言和视觉，在视觉推理、文档理解和基于图像的创意应用方面提供了前所未有的能力。在本博客中，我们将探索 LLaMA 3.2 Vision 的功能、其独特的架构、性能基准，并引导您完成一个动手教程，以使用该模型执行图像文本任务。
[论文笔记] LLaMA3.2
心宝的博客
09-27 349
除了现有的支持文本的外，Llama 3.2 还支持多模式用例。现在，您可以在 Amazon Bedrock 中使用 Meta 中的四个新 Llama 3.2 模型（90B、11B、3B 和 1B）来构建、试验和扩展您的创意。——Meta 最先进的模型，非常适合企业级应用。该模型擅长常识、长文本生成、多语言翻译、编码、数学和高级推理。它还引入了图像推理功能，可以执行图像理解和视觉推理任务。该模型非常适合以下用例：图像字幕、图像文本检索、视觉基础、视觉问答和视觉推理以及文档视觉问答。
llama3.2技术细节以及相关内容详解
weixin_31588979的博客
09-29 1047
Llama 3.2系列涵盖了小型和中型视觉LLM（参数分别为11B和90B）以及适用于边缘和端侧的轻量级纯文本模型（1B和3B），包含了预训练和指令调优版本。1B和3B模型：这些模型能够处理长达128K的令牌上下文，位于行业前列，适用于设备端的总结、指令追踪以及边缘环境中的文本重写任务。11B和90B视觉模型：在图像理解方面，性能超越了诸如Claude 3 Haiku等封闭模型，能够处理文档理解（包括图表和图形）、图像字幕生成以及基于自然语言描述的图像中对象精确定位等任务。
三步完成Llama3.2在算力魔方的INT4量化和部署
2401_83179994的博客
09-30 978
Llama 3.2的1B和3B参数版本是一个支持多种语言大型语言模型，其指令调优纯文本模型Llama-3.2-1B-Instruct和Llama-3.2-3B-Instruct，针对多语言对话用例进行了优化，包括代理检索和摘要任务，性能参数如下图所示。把Llama-3.2-1B-Instruct模型的预训练权重下载到本地后，接下来本文将依次介绍基于Optimum Intel工具将Llama-3.2-1B-Instruct进行INT4量化，并完成本地部署。性能不够时，可以升级计算模块提升算力；
媲美GPT-4o mini的小模型，Meta Llama 3.2模型全面解读！
hunteritself的博客
10-03 1109
媲美GPT-4o mini的小模型，Meta Llama 3.2模型全面解读！
测试 Meta 的全新 Llama 3.2 90B Vision 型号 它与 Pixtral 和 Qwen 2 VL 相比如何
iCloudEnd的博客
10-01 322
Meta 花了一段时间才发布其 Llama 系列的首批视觉模型。在 Llama 3 发布一年半后，我们现在有了 3.2，其中包括 4 个新模型。1B 和 3B 是轻量级的纯文本模型，旨在适用于边缘和移动设备，包括预训练和指令调整版本。它们支持 128K 个标记的上下文长度，并且是同类产品中最先进的，适用于在边缘本地运行的设备上用例，例如摘要、指令跟踪和重写任务。
如何連接本地端llama3.2 ?
10-01
Llama3.2 是一款软件，但没有提供足够的上下文来确定它是哪种类型的软件（例如，是一个数据库、网络服务还是某种特定的开发工具）。不过，假设你想连接的是一个本地的 Llama3.2 应用或数据库，一般情况下，连接过程可能包括以下几个步骤： 1. **确认协议**：首先，你需要知道 Llama3.2 使用的是什么类型的数据通信协议，如 TCP/IP、Unix Socket 或者是本地文件系统。 2. **端口信息**：如果是基于网络的服务，查找其运行的端口号。默认可能是 8080 或者文档中指定的其他值。 3. **地址和路径**：如果是在同一台机器上，通常直接使用 `localhost` 或者本机 IP 地址；如果是文件系统，可能会有具体的文件夹路径。 4. **API/SDK**：如果是通过 API 进行连接，查看官方提供的客户端库或文档，了解如何创建连接实例并设置必要的参数。 5. **连接代码示例**： - 如果是编程语言如 Python，可能会类似这样： ```python import llama32_client client = llama32_client.Client('localhost', 8080) client.connect() ``` - 如果是命令行工具，可能有类似 `llama32 connect [host] [port]` 的命令格式。 6. **身份验证**：有些服务可能需要用户名和密码或者认证令牌，请确保在连接时提供正确的凭据。 7. **错误处理**：务必检查连接尝试是否成功，如果失败，请检查日志和错误消息以便定位问题。 如果你能提供更具体的信息，我可以给出更详细的指导。如果你要连接的是某个特定的开源项目，请告诉我项目的名称或URL。如果没有相关的软件包或文档，通用的建议可能不太适用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值