Meta 的 LLaMA 4 系列（1000 万上下文长度）现已推出：推动开源 AI 的发展

最新推荐文章于 2025-11-04 16:36:25 发布
最新推荐文章于 2025-11-04 16:36:25 发布
阅读量516 收藏
点赞数 20
CC 4.0 BY-SA版权
分类专栏： NVIDIA GPU和大语言模型开发教程 文章标签： llama 开源 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iCloudEnd/article/details/147027117

简介

随着LLaMA 4 系列的发布，Meta 再次在人工智能竞赛中迈出了重要的一步。LLaMA 4 系列是一套尖端语言模型，旨在与 OpenAI 的 GPT-4 和谷歌的 Gemini 等相媲美，在某些情况下甚至超越它们。LLaMA 4 于 2025 年 4 月发布，将规模和效率放在首位，重点是跨 Meta 平台的研究友好型开放获取和集成。

在本文中，我们将探讨：

LLaMA 4 系列推出的型号
技术创新和架构
性能基准和比较
许可和开源问题
对即将上映的 LLaMA 4 Behemoth 有何期待

推荐文章

了解本专栏 订阅专栏 解锁全文
[全网首发中文版]LLM4Decompile: Decompiling Binary Code with Large Language Models
liferecords的博客
03-18 2291
反编译是将已编译的机器代码或字节码转换回高级编程语言的过程。当源代码无法访问时，通常会这样做来分析软件的工作原理 Brumley 等人 (2013)；Katz 等人 (2018);胡赛尼和多兰-加维特 (2022)；徐等人 (2023);Armengol-Estapé 等人 (2023);江等人 (2023);黄等人(2023)。目前已经开发了许多反编译工具，例如 Ghidra Ghidra (2024) 和 IDA Pro Hex-Rays (2024)。
Llama 4横空出世：开源巨兽挑战闭源霸主，多模态AI迎来新纪元
东方佑
04-06 1345
Llama 4的胜利不仅是技术的胜利，更是开源精神的胜利。当Meta用2万亿参数巨兽打破闭源模型的垄断，AI的未来已不再局限于少数巨头的实验室——它属于每一个开发者、每一台H100 GPU，以及所有渴望改变世界的创意。参考资料Llama 4技术细节LMSYS排行榜。
Llama 4开源震撼发布！支持1000万超长上下文，单GPU运行，近2万亿参数引领潮流
m0_65555479的博客
04-06 1236
Meta称其目标是开发最有帮助和实用的模型，同时防范和缓解最严重的风险，根据《开发人员使用指南：AI保护》中概述的最佳实践构建了Llama 4，使开发人员能够为其Llama支持的应用程序创建有用、安全且适应性强的体验。Meta在预训练方面，结合使用数据过滤和其他数据缓解措施来保护模型；对于后训练，应用了一系列技术来确保模型符合对用户和开发者有益的政策，包括在每个阶段提供适当级别的安全数据。在系统层面，Meta开源了几种保护措施，可帮助识别和防范潜在的有害输入和输出。
Meta推出Llama 4：MoE构架、原生多模态、10M上下文，没有发布推理模型
2401_84208172的博客
04-07 955
这次Llama 4的推理模型还不见踪影，这多少有点说不过去，大家觉得呢？毕竟Meta也是妥妥的大厂啊！不过Meta 表示这只是开始，后续还有更多模型，团队正在全力开发中，特别提到了。
重磅！Meta深夜发布Llama 4系列：单卡H100支持，千万上下文，2万亿参数震撼登场
2401_84204413的博客
04-06 1081
这次Llama 4的推理模型还不见踪影，这多少有点说不过去，大家觉得呢？毕竟Meta也是妥妥的大厂啊！不过Meta 表示这只是开始，后续还有更多模型，团队正在全力开发中，特别提到了模型。
Meta 的 LLaMA 4 系列来了：推动开源 AI 的边界
Z987421的博客
04-09 881
Llama 4是Meta于2025年4月发布的新一代开源多模态大语言模型（LLM）系列，包含ScoutMaverick和仍在训练中的Behemoth三个版本。混合专家（MoE）架构：首次在Llama系列中引入MoE架构，通过激活部分参数提升训练和推理效率。例如，Maverick总参数4000亿，但每次推理仅激活170亿参数。原生多模态融合：采用早期融合技术，将文本、图像、视频等数据统一处理，支持联合预训练。视觉编码器基于MetaCLIP优化，提升多模态交互能力。超长上下文支持：Scout支持。
开源人工智能反击，Meta 推出 Llama 4
分享各种技术文章，给大家带来不一样的视野。
04-24 1169
这是一种典型的“拥抱并扩展”策略：如果每个人都使用你的“开放”模式，你就间接地设定了标准，甚至可能引导人们使用你的平台（例如，Meta的AI助手产品就利用了Llama）。此外，它还具有成本优势。值得注意的是，Llama 4 是基于特殊社区许可证（而非标准宽松许可证）发布的——因此，虽然模型权重可以免费使用，但也存在一些限制（例如，某些高资源用例可能需要获得许可，而且该许可证是*“专有的”*，因为它是由 Meta 制定的）。越来越明显的是，我们正走向一个混合人工智能格局，开放模型和封闭模型并存，相互影响。
Meta发布Llama 4模型家族：视觉对话全能，2万亿参数震撼开源
2401_85343303的博客
04-16 1088
最近 AI 圈又炸锅了，Meta 在 2025 年 4 月 5 日正式发布了他们的新一代开源大模型——Llama 4！这次可不是小打小闹，Meta 直接甩出了“多模态智能”的大招，让 Llama 4 不仅能“听懂”文字，还能“看懂”图片，甚至未来可能处理视频和语音，简直是 AI 界的“全能选手”。这次 Meta 一口气推出了 Llama 4 的两个版本：Llama 4 Scout 和 Llama 4 Maverick，还有一个超重量级的 Llama 4 Behemoth 正在训练中，先给大家剧透一下。
Meta 发布 Llama 4 模型家族：能看、能聊、还开源，2万亿参数炸裂！
人工智能研究所的博客
04-14 752
Meta 在 2025 年 4 月 5 日正式发布了他们的新一代开源大模型——Llama 4！这次可不是小打小闹，Meta 直接甩出了“多模态智能”的大招，让 Llama 4 不仅能“听懂”文字，还能“看懂”图片，甚至未来可能处理视频和语音，简直是 AI 界的“全能选手”。
开源革命下的研发突围：Meta Llama系列模型的知识整合实践与启示
云雾J视界的博客
10-06 1257
摘要：在开源革命冲击下，研发岗核心竞争力从技术垄断转向知识整合。Meta通过Llama系列模型实践，构建“四维知识网络”（内部数据+开源生态+学术前沿+用户反馈），形成“获取-存储-共享-应用-更新”全链路整合路径。面对开源质量参差不齐、隐性知识难转化、组织文化冲突等挑战，Meta以自动化筛选（准确率提升至99.5%）、场景化案例库（缩短培训周期40%）、分级开源协议（商业授权收入超10亿美元）等策略破局，印证知识整合是连接开源资源与商业价值的核心纽带，为AI时代研发岗提供可复用的技术范式与操作指南。
Meta Llama3 炸裂登场：一夜刷屏AI界，基准测试中一骑绝尘，GPT-4 Turbo遭遇强劲对手
AI全栈 和 IT 编程相关分享
04-19 2140
在 2024年4月19 日，AI界迎来了一项重大突破：Meta 公司宣布推出了迄今为止最强大的新一代开源大语言模型 Llama3。这一消息无疑为我国AI产业的发展带来了新的希望和机遇。🎯 Llama3 系列语言模型（LLM）包括Llama3 8B 和 Llama3 70B两个版本，分别，支持 8K 上下文。这两个模型是在两个 24K GPU 定制集群上，使用15万亿tokens数据进行训练的。据 Meta 公司表示，这两个模型分别是 80亿 和 700亿 参数上的最佳表现。此外，一个参数超过。
meta-llama-3-8B下载失败解决。
EmileJiao的博客
11-03 207
2. 运行1后提示To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens . 在该链接上申请tokens 然后粘贴到终端上。4. 注意llama3需要在huggingface.co上申请权限，写IP地大学就行，不要选china。我写的中文拼音名字可以通过，但建议写个IP地名字。几分钟内就可以通过。然后才能正常访问下载llama系列开源文件。
【深度学习新浪潮】llama.cpp完全适配Qwen3-0.6B/8B模型！从转换到部署保姆级教程
智能守恒_HengAI
11-04 117
框架极轻：仅10MB级可执行文件，无冗余依赖；资源可控：模型量化后体积最小0.2GB，适配1GB内存设备；兼容性强：支持Linux/macOS/Windows，可嵌入嵌入式系统。
掌握本地化大语言模型部署：llama.cpp 工作流与 GGUF 转换内核全面技术指南
炼丹上岸
11-03 719
摘要： llama.cpp是一个开源项目，致力于通过CPU优先的设计和C++优化，使大语言模型(LLM)能够在消费级硬件上本地运行。其工作流程包括：从Hugging Face获取预训练模型、编译llama.cpp工具链、将模型转换为GGUF格式、进行量化优化，最后执行本地推理。报告深入探讨了BFloat16转换的必要性，指出16位浮点格式转换是确保数值稳定性和GGUF序列化的关键步骤。GGUF格式作为专为推理设计的单文件解决方案，解决了多文件依赖问题，而量化技术则实现了模型在内存和性能上的优化权衡。完整工作
MAC-SQL：SQL-Llama 的具体训练流程
最新发布
weixin_63681863的博客
11-04 376
训练的核心是让SQL-Llama同时学习3类任务，论文采用多任务联合损失函数L−∑i13EQSiKYi∼DilogPYi∣QSiK;M符号含义：i=1,2,3：对应3类Agent任务；Q：用户自然语言问题；Sⁱ：任务i所需的数据库schema（如任务1的“完整schema”、任务2的“筛选后schema”）；K。
LlaMA_Factory实战微调Qwen-LLM大模型
Blue&boke
11-03 195
在data文件夹-dataset_info.json中添加制作好的数据集，文本训练添加参考格式如下。显示训练完时间未9小时左右。其他默认即可，开始训练。总数据量：6448条。
LLama Factory使用LoRA微调Qwen
qq_43501462的博客
10-31 939
LoRA是通过引入低秩矩阵来减少微调时的参数量。在预训练模型中，LoRA通过添加两个小矩阵B和A来近似原始的大矩阵W，从而减少需要更新的参数量。eg：W：m×n， 则B：m×r，A：r×n （通常r=8~64）训练时，输入分别与原始权重和两个低秩矩阵进行运算，共同得到最终结果，优化则仅优化A和B，W不变训练完成后，可以将两个低秩矩阵与原始模型中的权重进行合并，合并后的模型与原始模型无异### 1.2 为什么高效？参数效率：仅训练0.1%~1%的参数量。
llama.cpp 全方位技术指南：从底层原理到实战部署
炼丹上岸
11-03 730
llama.cpp 是一个开源项目，完全由纯C/C++编写，其核心设计理念是实现零外部依赖，从而能够在最少的设置下，在从强大的云服务器到日常使用的笔记本电脑，乃至智能手机等各种硬件上实现顶尖的性能 [3]。它不仅仅是一个工具，更是一个完整的生态系统，通过高效的C++引擎、标准化的GGUF格式以及核心的量化技术，成功地将大型语言模型推理的门槛降至前所未有的水平，使本地化AI成为每个开发者触手可及的现实。模型格式的转换是使用llama.cpp的核心流程，而理解GGUF是掌握这一流程的关键。格式存储 [43]。
加上Meta（LLaMA系列）
04-17
### 阿里巴巴、腾讯与Meta（LLaMA系列）模型的比较分析 #### 模型定位与应用场景 ##### 阿里巴巴通义千问 阿里巴巴的通义千问是一款多功能的语言大模型，能够执行多样化的任务，包括但不限于回答问题、创作文字、编写代码、提供翻译服务等。该模型依托于阿里巴巴集团庞大的生态系统，尤其是在电商和云计算领域有着深厚的应用基础[^3]。此外，通义千问已经开源了一些较小规模的变体，如70亿参数的通用模型和对话模型，这有助于促进社区开发者的进一步研究和发展。 ##### 腾讯混元 腾讯推出的混元大模型同样具备多轮对话、内容创作、逻辑推理等多种能力，并且特别注重减少幻觉现象的发生率。为此，混元采用探真算法优化目标函数，并通过强化学习等方式提升模型辨别真实信息的能力。同时，混元对位置编码进行了改进，增强了其处理长序列数据的表现。值得注意的是，混元还展现了良好的问题分解与分布式推理技能，这对于复杂任务尤为重要。 ##### Meta LLaMA系列 Meta公司的LLaMA系列则以其高效性和经济性著称，尤其适合那些希望以较低成本获得高性能表现的企业和个人使用者。相比其他闭源竞品而言，LLaMA及其后续版本如Llama2提供了更多的透明度和支持力度，允许更广泛的用户群体参与到先进AI技术的实际应用当中去[^2]。随着迭代更新，LLaMA家族成员逐渐增加了更多实用功能，例如更好的上下文理解和生成质量。 #### 技术架构特点 - **训练机制** - 阿里巴巴利用自身积累的大规模高质量语料库来训练通义千问，确保了模型在特定行业内的卓越性能。 - 腾讯除了常规的数据集外，还引入特殊算法调整损失函数形状，力求让最终产物既能准确捕捉事实真相又能灵活应对各种输入情况。 - Meta则强调跨文化适应能力和公平原则，在构建LLaMA时充分考虑到了全球范围内的多样性需求。 - **参数数量&规模效应** - 尽管确切数值未完全公开披露，但从官方描述来看，三家厂商所打造的产品皆属于超大规模类别，其中不乏达到数千亿级别甚至更高维度者存在。 - 不过需要注意的是，单纯追求数字上的领先未必总能转化为实际效果优势；相反，合理权衡大小关系往往更能带来理想回报。 - **开源状态** - 阿里巴巴选择了部分组件对外共享路径； - 腾讯目前相对保守但仍保留未来可能性； - 而Meta一贯坚持较为开放态度，鼓励第三方积极参与共建生态体系。 --- ### 示例代码展示 下面给出三个平台基本接口调用的例子供参考： 对于阿里巴巴通义千问： ```python from alibabacloud_qwen import Client client = Client(api_key='your_api_key') response = client.chat(prompt="你好！") print(response['choices'][0]['message']['content']) ``` 至于腾讯混元： ```python import requests url = 'https://api.hunyuan.tencent.com/v1/chat' payload = {'prompt': '今天天气怎么样？'} headers = {'Authorization': 'Bearer your_token'} r = requests.post(url, json=payload, headers=headers) if r.status_code == 200: result = r.json() print(result.get('text')) else: print(f'Error: {r.status_code}') ``` 最后关于Meta LLaMA (假设使用huggingface加载) : ```python from transformers import pipeline llama_pipeline = pipeline("text-generation", model="meta-llama/Llama-2-7b-hf") output = llama_pipeline("Once upon a time,", max_length=50)[0]["generated_text"] print(output) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知识大胖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值