[论文笔记] llama3.2 蒸馏

最新推荐文章于 2025-05-19 11:13:30 发布
最新推荐文章于 2025-05-19 11:13:30 发布
阅读量986 收藏
点赞数 10
分类专栏： 论文笔记 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/142590035
版权
了解本专栏 订阅专栏 解锁全文 超级会员免费看
[论文笔记] LLaMA3.2
心宝的博客
09-27 600
除了现有的支持文本的外，Llama 3.2 还支持多模式用例。现在，您可以在 Amazon Bedrock 中使用 Meta 中的四个新 Llama 3.2 模型（90B、11B、3B 和 1B）来构建、试验和扩展您的创意。——Meta 最先进的模型，非常适合企业级应用。该模型擅长常识、长文本生成、多语言翻译、编码、数学和高级推理。它还引入了图像推理功能，可以执行图像理解和视觉推理任务。该模型非常适合以下用例：图像字幕、图像文本检索、视觉基础、视觉问答和视觉推理以及文档视觉问答。
中文版LLaMA：Chinese-LLaMA-Alpaca
u013250861的博客
06-12 2055
以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。为了促进大模型在中文NLP社区的开放研究，本项目开源了。这些模型并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。
llama3.2技术细节以及相关内容详解
weixin_31588979的博客
09-29 2158
Llama 3.2系列涵盖了小型和中型视觉LLM（参数分别为11B和90B）以及适用于边缘和端侧的轻量级纯文本模型（1B和3B），包含了预训练和指令调优版本。1B和3B模型：这些模型能够处理长达128K的令牌上下文，位于行业前列，适用于设备端的总结、指令追踪以及边缘环境中的文本重写任务。11B和90B视觉模型：在图像理解方面，性能超越了诸如Claude 3 Haiku等封闭模型，能够处理文档理解（包括图表和图形）、图像字幕生成以及基于自然语言描述的图像中对象精确定位等任务。
Llama 3.2系列深度评测：性能显著提升，是否真的值得选择？
2401_84204413的博客
03-07 989
令人兴奋的消息，Meta发布了Lllam3.2系列模型，当前的基准显示，Llama 3.2 在各种基准测试中表现优于 Claude3.5 Haiku 以及 GPT-4o-mini；加上前几天的Qwen2.5，这是他们的第1次开源多模态大模型，总共有4个；其中两个是视觉模型（11B、90B）。90B可能是目前最大的视觉模型了，我记得前面一个比较大的是剩下的两个是1B和3B的，这些模型专为边缘计算和移动设备优化，支持 128k 令牌，擅长任务如摘要和遵循指令，针对各种处理器进行了优化。
LLaMA 3 技术报告解读：全面梳理 LLM 相关技术栈
xx_nm98的博客
07-30 2703
作者也进行了缩放法则实验，其 405B 模型是在给定训练预算下近似计算最优模型，而更小的模型（8B/70B）相比计算最优训练了更长的时间，以便在给定推理预算下最优（PS：这也是现在很多小模型的常见手段，小模型训练更长的时间，以便在推理时在更低成本下获得还不错的效果）。本周 Meta 发布了其最新的 LLaMA 3.1 系列模型，在社区中引起广泛关注和讨论，最大的 LLaMA 3.1 405B 模型原生支持 128K 上下文窗口，在各种基准上评估表明，其效果甚至媲美 GPT-4o 等领先的闭源模型。
Llama 3.2：轻量级设计与多模态能力
OpenCSG的博客
09-27 898
该系列包括轻量级文本模型（1B 和 3B）以及视觉模型（11B 和 90B），专为在边缘和移动设备上的高效应用而设计。这些模型经过预训练和指令调优，特别适合于实时处理和个性化需求，能够在多种任务中展现出卓越的表现，包括文本生成、图像理解和数据摘要。该系列包含轻量级文本模型（1B 和 3B）和视觉模型（11B 和 90B），旨在支持在边缘和移动设备上的高效应用。: 11B 和 90B 模型在图像理解任务中取得了显著成绩，能够在复杂场景中进行准确推理，表现优于传统的封闭模型。扫描上方二维码添加传神小助手。
Llama 3.2 Vision & Molmo：多模态开源生态系统基础
Baihai_IDP的博客
11-01 1726
然而，在目前已经发布的模型中，进行这种直接比较的寥寥无几。文中介绍在多数视觉领域测试中， Molmo 表现更优，Llama 3.2 V 在 MMMU 等文本相关任务中表现更好，目前多模态模型的开源定义仍需进一步探讨和完善，但 Molmo 是目前最接近开源的视觉模型。Ai2 推出了基于 Qwen 2 72B 打造的 Molmo 72B，基于 Qwen 2 7B 的 Molmo-7B-D，即将问世的基于 OLMo 7B 版本的 Molmo-O，以及基于 OLMoE 并拥有 1B 活跃参数的 Molmo-E。
放弃评测大模型，普林斯顿大学已经开始评估Prompt了，提出Prompt评估框架
2401_85373898的博客
07-08 1507
这篇论文具有一个有趣的结论，在实际的 Prompt 工程之中有时简单的 Prompt 生成方式有时也会取得良好的性能，在 Few-shot 的设置之中，任务无关的方法会表现出更好的性能，而一些自动生成 Prompt 的方法则往往会缺乏竞争力，无法享受 Prompt 对模型性能带来的提升。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
【论文阅读笔记】Meta 3D AssetGen
weixin_43357695的博客
07-06 1270
我们提出了 Meta 3D AsetGen (AssetGen)，这是文本到 3D 生成的重大进步，它产生了忠实、高质量的网格，具有纹理和材料控制。与在 3D 对象外观中烘烤阴影的作品相比，AsetGen 输出基于物理的渲染 (PBR) 材料，支持逼真的重新照明。AsetGen 使用分解阴影和反照率外观通道生成对象的前几个视图，然后使用延迟阴影损失重建 3D 中的颜色、金属度和粗糙度以进行有效监督。**它还使用符号距离函数更可靠地表示 3D 形状，并为直接形状监督引入了相应的损失。
【十一 自然语言处理学习路线图】【 11.3 高级阶段：前沿技术研究、论文阅读】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-12 102
各位已经跨越新手村和进阶副本的NLP勇士们，准备好迎接真正的硬核挑战了吗？我是你们的科研引路人老张，今天要带大家解锁自然语言处理领域的终极奥义——那些藏在顶会论文里的黑魔法和工业界绝不会公开的科研生存法则！
Meta发布Llama 3.2，Llama 终于能看见了！
z551646的博客
09-26 1696
Meta刚刚发布了Llama 3.2模型系列，包括多模态视觉模型和小型文本模型，共计10个开放权重模型。这次更新不仅带来了期待已久的视觉能力，还为移动设备和边缘计算提供了更多选择。Llama 3.2 Vision模型终于为Llama家族带来了多模态能力。它提供了两种尺寸：11B版本：适合在消费级GPU上高效部署和开发90B版本：适用于大规模应用90B版本中，其中18B用于新视觉功能。并且，这两个版本都有基础模型和指令微调变体。
Llama 3.2正式开源，将草图生成应用程序Napkins；可视化推理与透明化过程Show-Me；增强编码体验的 VS Code 扩展程序
haleycat的博客
09-26 1370
Show-Me 是一个开源应用程序，旨在提供一种可视化和透明的替代方案，让用户与传统的大型语言模型（LLM）进行交互。是一套用于AI聊天的React组件，支持多种集成，包括Langchain、Vercel AI SDK、TailwindCSS、shadcn-ui、react-markdown、react-syntax-highlighter、React Hook Form等。Show-Me 的设计理念强调透明性和可视化，让用户不仅能够获得答案，还能理解背后的推理过程，真正实现与 LLM 的互动。
Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？
z551646的博客
11-13 4020
本文带大家本地跑了 Meta 最新开源的 Llama 3.2，并在票据识别任务上进行了实测。个人体验而言：Llama 系列，都得在中文指令数据上微调后，才能中文场景中使用，同等参数规模下，国产大模型其实更具性价比。如果对你有帮助，欢迎备用。
【论文阅读】针对BEV感知的攻击
博客标题不能为空我也没办法
05-17 721
针对BEV感知的攻击，利用贴图对基于BEV的目标检测算法进行攻击
25、DeepSeek-R1论文笔记
weixin_44986037的博客
05-17 850
DeepSeek-R1论文笔记
26、DAPO论文笔记（解耦剪辑与动态采样策略优化，GRPO的改进）
最新发布
weixin_44986037的博客
05-19 582
DAPO论文笔记（解耦剪辑与动态采样策略优化，GRPO的改进）
论文阅读--Logical quantum processor based on reconfigurable atom arrays
m0_54373077的博客
05-19 473
论文提出了一种基于可重构中性原子阵列的逻辑量子处理器，旨在通过量子纠错（QEC）和逻辑量子比特编码，解决物理量子比特的噪声限制问题。：利用三维[[8,3,2]]码实现48逻辑量子比特的快速扰乱（scrambling）电路，包含228个逻辑双量子比特门和48个逻辑CCZ门，跨熵基准（XEB）显著优于物理量子比特。：通过双拷贝测量技术提取纠缠熵和“魔力”（magic），验证了逻辑量子比特在模拟复杂量子系统（如黑洞扰乱）中的潜力。通过分区设计和AOD技术，实现了逻辑量子比特的并行操作，减少控制线路复杂度。
论文阅读：Self-Collaboration Code Generation via ChatGPT
m0_53605808的博客
05-16 1034
尽管大型语言模型（LLMs）在代码生成能力方面表现出色，但在处理复杂任务时仍存在挑战。在现实软件开发中，人类通常通过团队协作来应对复杂任务，这种策略能有效控制开发复杂度并提升软件质量。受此启发，本文提出一种基于 LLMs（以 ChatGPT 为例）的自协作代码生成框架。具体而言，通过角色指令：（1）多个 LLM 代理扮演不同的 “专家” 角色，每个角色负责复杂任务中的特定子任务；（2）指定协作和交互方式，使不同角色形成虚拟团队以协同完成工作，最终实现无需人工干预的代码生成任务。
llama3.2
03-08
### Llama 3.2 介绍 Llama 3.2 是由 Meta 发布的一个强大语言模型系列中的最新成员，旨在优化于边缘计算和移动设备上的性能。该版本特别针对智能手机和平板电脑进行了调整，提供了两种不同规模的轻量级模型——拥有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值