大模型论文 | 谷歌发布全新TPU芯片、如何运行和微调Llama 4

最新推荐文章于 2025-05-21 22:22:30 发布
最新推荐文章于 2025-05-21 22:22:30 发布
阅读量604 收藏 8
点赞数 17
文章标签： llama 人工智能 自然语言处理 LLM ai 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/star_nwe/article/details/147114252
版权

1、【谷歌发布全新TPU芯片】谷歌推出第七代TPU芯片Ironwood，专为推理和思考型AI模型设计
2、 Unsloth发布的教程：如何运行和微调Llama 4
3、 【精简推理强化学习】研究表明：简洁并不影响准确性，反而能提升LLM表现
4、 【步进式强化学习】SWiRL：多步骤推理和工具使用的新方法
5、 【Skywork R1V】突破性多模态推理模型，结合思维链
6、 【Leanabell-Prover】形式推理中的后训练扩展

1、【谷歌发布全新TPU芯片】谷歌推出第七代TPU芯片Ironwood，专为推理和思考型AI模型设计

在这里插入图片描述

谷歌刚刚宣布推出第七代TPU芯片Ironwood，这是首款专为"思考型"推理AI模型打造的TPU芯片！据介绍，Ironwood将提供两种规格：256芯片配置和9,216芯片配置。

主要亮点：

  • 首款为"思考型"推理AI模型构建的TPU
  • 9,216芯片配置拥有惊人的42.5 Exaflops计算能力
  • 能效比较上一代提升2倍
  • 单芯片算力达4,614 TFLOPs
  • 每芯片192GB HBM内存（比上一代多6倍）
  • 7.2 Tbps HBM带宽（提升4.5倍）
  • 1.2 Tbps互连带宽，实现芯片间无缝通信
  • 采用先进的液冷技术
  • 预计2025年晚些时候上市

官方博客：https://blog.google/products/google-cloud/ironwood-tpu-age-of-inference/

​

2、 Unsloth发布的教程：如何运行和微调Llama 4

在这里插入图片描述

AI研究者Daniel Chen分享了对Llama 4模型架构的深入分析，揭示了许多技术细节：

  1. Maverick模型混合使用MoE层和密集层，每隔一层使用MoE结构
  2. Scout模型在QK上使用L2范数（不是QK范数）
  3. 两种模型的专家数量n_experts均为1
  4. 官方代码库使用torch.bmm（非高效实现）
  5. Maverick模型中的第1、3、45层MoE是"特殊"层
  6. 使用8192分块注意力机制

更多细节：

  • 动态量化过程中，Maverick的第1、3和45层不能充分饱和——即某些专家从未被激活

  • 除每4层外，所有层都使用8192分块注意力

  • Scout不使用"QK范数"，而是仅对Q和K应用L2范数

  • 合并门控和上投影不允许4bit/8bit工作

  • 现在不使用系统提示！有趣的是，<|eom|>有时会在推理过程中出现

  • Llama 4不对路由器logits进行标准化

  • 模型性能方面，可以验证Llama 4 Scout在MMLU上的表现约为80%

教程链接：https://docs.unsloth.ai/basics/tutorial-how-to-run-and-fine-tune-llama-4

​

3、 【精简推理强化学习】研究表明：简洁并不影响准确性，反而能提升LLM表现

在这里插入图片描述

这篇新论文挑战了"更长回答能提高准确率"的观点，提出了一种通过强化学习促进LLM简洁准确推理的新训练策略，并提供了理论和实证证据，表明简洁通常与更好的性能相关。

主要发现：

  • 长≠更好的推理 研究者数学证明了PPO强化学习倾向于生成不必要的长回答，尤其是当答案错误时。令人惊讶的是，在推理和非推理模型中，更短的输出与正确答案更相关。
  • 两阶段RL促进推理+简洁 他们引入两阶段强化学习策略：(1)对难题训练以构建推理能力（长度可能增加），然后(2)对可解决的任务进行微调，以实现简洁的思维链，且不损害准确性。仅第二阶段就能显著减少token使用量——超过50%——且不损失准确率。
  • 少量数据也有效 该方法仅需4-8个训练样本就能成功，在数学和STEM基准测试上都取得巨大收益。例如，在MMLU-STEM上，准确率提升了+12.5%，同时将响应长度减少了2倍以上。
  • 低采样下表现更佳 后训练模型即使在温度降至0时仍保持鲁棒性。在温度=0时，微调模型比基线模型表现高出10-30%，显示出增强的确定性性能。
  • 实用价值 除了改善模型输出外，此方法还减少延迟、成本和token使用量，使LLM更易部署。作者还建议在PPO中设置λ<1，以避免不稳定性并鼓励正确的响应塑造。

论文链接：https://arxiv.org/abs/2504.05185

4、 【步进式强化学习】SWiRL：多步骤推理和工具使用的新方法

在这里插入图片描述

这篇研究提出了一种名为"步进式强化学习"(SWiRL)的新方法，专门针对多步优化场景。随着关注点转向更复杂的推理和代理任务，语言模型需要在生成解决方案前进行多步文本生成、推理和环境交互。

主要内容：

  • SWiRL方法迭代生成多步推理和工具使用数据，然后从这些数据中学习
  • 采用简单的步进分解，将每个多步轨迹分解为对应原始模型每个动作的多个子轨迹
  • 对这些子轨迹应用合成数据过滤和RL优化

实验结果表明，SWiRL在多个基准测试中表现优异：

  • 在GSM8K、HotPotQA、CofCA、MuSiQue和BeerQA上，相对准确率分别提高了21.5%、12.3%、14.8%、11.1%和15.3%
  • 令人兴奋的是，该方法表现出跨任务泛化能力：例如，仅在HotPotQA（文本问答）上训练就能使GSM8K（数学数据集）的零样本性能相对提高16.9%

论文链接：https://arxiv.org/abs/2504.04736

​

5、 【Skywork R1V】突破性多模态推理模型，结合思维链

在这里插入图片描述

Skywork R1V是一个多模态推理模型，通过高效的多模态迁移方法将R1系列大语言模型扩展到视觉模态。

主要特点：

  • 利用轻量级视觉投影器，实现无缝多模态适应，无需重新训练基础语言模型或视觉编码器
  • 提出混合优化策略，结合迭代监督微调(SFT)和群组相对策略优化(GRPO)，显著提高跨模态集成效率
  • 引入自适应长度思维链蒸馏方法，动态优化推理链长度，提高推理效率并防止过度思考

实证评估显示，仅有38B参数的Skywork R1V在性能上具有竞争力：

  • 在MMMU基准测试上得分69.0
  • 在MathVista上得分67.5
  • 同时保持强大的文本推理性能，在AIME上得分72.0，在MATH500上得分94.0

论文链接：https://arxiv.org/abs/2504.05599

​

6、 【Leanabell-Prover】形式推理中的后训练扩展

在这里插入图片描述

该研究探讨了自动定理证明(ATP)的整个后训练过程，旨在将其与自然语言推理模型的突破保持一致。

主要工作：

  • 使用混合数据集对当前ATP模型进行持续训练，该数据集包含大量陈述-证明对，以及旨在纳入模拟人类推理和假设改进的认知行为的附加数据
  • 探索使用Lean 4编译器返回的结果奖励进行强化学习
  • 通过设计的持续训练和强化学习过程，成功改进了现有的形式证明器，包括DeepSeek-Prover-v1.5和Goedel-Prover

性能突破：

  • 在MiniF2F上实现了59.8%的通过率(pass@32)，达到了整个证明生成领域的最先进性能

论文链接：https://arxiv.org/abs/2504.06122

如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

在这里插入图片描述

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

在这里插入图片描述

【LLM大模型】模型和指令微调方法
u013250861的博客
06-30 605
该项目通过医学知识图谱和GPT3.5API构建了中文医学指令数据集，并对LLaMa模型进行了指令微调得到了一个针对医学领域的智能问诊模型HuaTuo，相比于未经过医学数据指令微调的原LLaMa而言，HuaTuo模型在智能问诊层面表现出色，可生成一些更为可靠的医学知识回答。HuggingFace 开源的一个高效微调大模型的 PEFT 库（Parameter-Efficient Fine-Tuning），目前包含LoRA，Prefix Tuning，Prompt Tuning，P-Tuning 四种算法。
AI之HardWare：人工智能领域之大模型部署两大设计方案(本地搭建服务器+调用云厂商服务)、服务器和硬件相关技术的简介(GPU/TPU/NPU，GeForce【3090-4090】、Tesla【A
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-10 2145
​ AI：人工智能领域之大模型部署两大设计方案(本地搭建服务器+调用云厂商服务)、服务器和硬件相关技术的简介(GPU/TPU、GeForce【3090-4090】/Tesla【A800-A100/V100】)、服务器搭建(GPU集群、节点、GPU卡/显卡)之详细攻略 目录 一、服务器和硬件相关技术的简介 二、本地搭建服务器硬件案例 三、调用云厂商服务 一、服务器和硬件相关技术的简介 0、查看系统的CPU和GPU的运行内存 A1、基于Win
谷歌发布最强AI大模型Gemini（超越chatgpt4）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-13 2821
谷歌Gemini是一个基于深度学习的AI系统，但它与其他的AI系统有很大的不同。谷歌Gemini是一个能够理解和生成文本、代码和图像的多模态AI系统，也就是说，它可以跨越不同的数据类型，实现更复杂的推理和创造。谷歌Gemini的模型架构是结合了谷歌DeepMind的AlphaGo的强化学习和搜索树技术，以及GPT-4的大规模语言模型技术，形成了一个强大的多模态语言理解（MMLU）模型。
【LLM大模型】指令微调、peft高效参数微调
发现问题，并解决问题，批判性思维
05-07 1万+
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
万字长文细说端侧大模型进展(下篇)：AutoGLM类Agent隐私安全有感
ljp1919的专栏
12-08 1579
本综述全面阐述了设备上语言模型（LLMs）的最新进展，重点分析了模型压缩、高效架构设计和硬件-软件协同优化等领域的突破。这些进步推动了复杂语言模型在资源受限设备上的部署，为各行业提供了更好的数据保护、低延迟和普及先进AI能力的机会。从云端到边缘的LLM部署转变标志着人机交互范式的革新，开辟了个性化、情境感知和即时AI体验的新途径，促进了各领域的智能化发展。然而，设备上LLM仍面临平衡性能与资源限制、确保模型鲁棒性及开发持续学习机制等挑战。此外，能源效率、可持续性和负责任的部署问题也日益突出。
LLM/ChatGPT与多模态必读论文150篇(已更至第101篇)
热门推荐
结构之法 算法之道
03-13 3万+
2022年8月发布的Stable Diffusion基于Latent Diffusion Models，专门用于文图生成任务。总之，读的论文越多，博客内相关笔记的质量将飞速提升 自己的技术研究能力也能有巨大飞跃。且考虑到为避免上篇文章篇幅太长而影响完读率，故把这100论文的清单抽取出来独立成本文。// 23年2.27日起，本榜单几乎每天更新中。
新手入门：大语言模型训练指南
2401_85373691的博客
08-06 1747
在这个信息爆炸的时代，人工智能技术正以前所未有的速度渗透到我们生活的方方面面。从智能手机上的语音助手到自动驾驶汽车，AI的应用无处不在。而在这些令人惊叹的技术背后，大语言模型（LLM）扮演着至关重要的角色。它们不仅能够理解和生成自然语言，还能在多种场景下提供智能决策支持。然而，对于许多对AI感兴趣的新手来说，大语言模型的训练和应用似乎是一件高不可攀的事情。复杂的技术术语、晦涩的理论知识，以及高昂的硬件要求，往往让人望而却步。但其实，只要掌握正确的方法和工具，每个人都能成为AI领域的探索者和实践者。本文将带你
大语言模型的前世今生：万字长文完整梳理所有里程碑式大语言模型
2401_84033492的博客
07-06 1125
主要指基于Transformer的预训练语言模型（PLMs），包含数十亿至数百亿的参数。
AI生成未来 | 大语言模型的前世今生：万字长文完整梳理所有里程碑式大语言模型（LLMs）
csdn_xmj的博客
07-08 1617
本篇博客全面汇总了大型语言模型（LLMs）。从早期的预训练神经语言模型开始，探讨了它们的起源和发展。重点讨论了Transformer架构及其三个主要分类：仅编码器PLMs、仅解码器PLM和编码器-解码器PLM。接着，文章聚焦于GPT、LLaMA和PaLM这三大LLM家族，阐述了它们的特点和对语言模型领域的贡献。此外，还涉及了其他重要的LLMs，展现了该领域的广泛性和多样性。这篇博客不仅是对LLMs历史和模型做了完整的梳理，也突出了它们在自然语言处理技术发展中的关键角色。
llm综述——通过一篇综述全面了解大模型
xs86467的博客
10-02 1065
A large-scale, pre-trained, statistical language models based on neural networks. (大模型：基于神经网络的大规模预训练统计语言模型。语言模型的发展可以被分为四个阶段：统计模型、神经网络语言模型、预训练模型。与PLMs（预训练语言模型）相比，LLMs不仅仅在模型参数量上大，在语言理解、生成能力上也展现出更强的实力。更重要的是，
大语言模型之五 谷歌Gemini
shichaog的专栏
08-26 2157
近十年来谷歌引领着人工智能方向的发展，从TensorFlow到TPU再到Transformer，都是谷歌在引领着，然而，在大语言模型上，却被ChatGPT（OpenAI）抢了风头，并且知道GPT-4（OpenAI）的推出，谷歌依然没有推出能打的竞品都没有，甚至是后来居上的LlaMA（Meta）类的Google也败下阵来，也许是Google倾尽资源在Gemini上了。
大语言模型的前世今生：万字长文完整梳理所有里程碑式大语言模型（LLMs）
m0_64752471的博客
10-26 1209
作者：APlayBoy 编辑：AI生成未来链接：https://zhuanlan.zhihu.com/p/691719636所有资料 ⚡️ ，朋友们如果有需要全套 《》，本篇博客全面汇总了大型语言模型（LLMs）。从早期的预训练神经语言模型开始，探讨了它们的起源和发展。重点讨论了Transformer架构及其三个主要分类：仅编码器PLMs、仅解码器PLM和编码器-解码器PLM。接着，文章聚焦于GPT、LLaMA和PaLM这三大LLM家族，阐述了它们的特点和对语言模型领域的贡献。
DeepSeek大模型训练及大模型训练师的价值和意义
一枚农夫，闲来有事聊聊天，交个朋友，让沉闷的生活畅想下
04-03 1256
一、训练定义与核心内容1.技术架构DeepSeek基于Transformer架构，融合稀疏注意力机制和混合专家（MoE）架构，通过自注意力机制处理长文本依赖关系，并通过MoE动态分配计算资源，实现轻量化参数与高性能的平衡。o创新点：引入专利数据管理技术减少冗余存储，优化训练效率；o模型版本：包括通用大语言模型（如DeepSeek-LLM）、代码模型（DeepSeek-Coder）及MoE模型（DeepSeek-MoE）。2.主要训练内容o数据准备。
llamafactory SFT 从断点恢复训练
jieshenai的博客
05-16 515
手动恢复训练可通过修改resume_from_checkpoint参数实现，但为减轻手动负担，编写了自动恢复训练的Shell脚本。
大模型的开发应用（三）：基于LLaMAFactory的LoRA/QLoRA微调（上）
weixin_44457930的博客
05-20 1030
当前（2025.5），生成模型最常用的微调手段就是LoRA微调，它是局部微调的一种，而全量微调限于数据和算力等因素，很少去使用。LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。模型种类：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等几乎世面上能见到的所有开源模型。
LLaMA-Adapter
最新发布
qq_52053775的博客
05-21 89
这种零初始化注意力机制的目的是在训练初期稳定梯度，避免由于随机初始化的适配提示带来的不稳定因素。通过门控因子gl​的自适应调整，在训练过程中逐渐平衡适配提示和输入文本的注意力贡献。
使用GpuGeek高效完成LLaMA大模型微调：实践与心得分享
LucianaiB的博客
05-15 8966
本文分享了在GpuGeek平台上对LLaMA-7B模型进行微调的实践经验。通过选择LLaMA-7B模型并结合LoRA方法，作者在GpuGeek平台上快速创建了训练环境，并完成了模型微调。GpuGeek平台提供了丰富的GPU资源、快速实例创建和预置镜像，显著降低了训练门槛和成本。整个微调过程仅耗时4小时，展示了平台在资源调度、模型市场和镜像支持方面的优势。最后，作者总结了GpuGeek平台在AI项目落地中的高性能与高性价比，推荐开发者使用该平台进行大模型实践。
LLaMA-Factory全解析：大模型微调的开源利器与实战指
fudaihb的博客
05-20 729
LLaMA-Factory作为一个开源框架，通过整合100+主流模型和20+微调算法，显著降低了垂直场景下大模型微调的算力门槛和技术复杂度。其核心架构包括模型加载、数据处理、训练策略和可视化界面，支持混合精度训练、动态量化和注意力优化等关键技术。环境搭建灵活，支持云镜像和本地部署，提供全流程微调指南，包括数据准备、LoRA微调配置和模型评估部署。企业级应用涵盖金融、医疗、电商和教育等多个行业，支持多机分布式训练。性能优化策略包括梯度检查点、模型并行和量化部署，安全防护方案则涵盖身份认证、输入过滤和输出脱敏。
LLaMA-Factory：了解webUI参数
我的博客
05-19 1114
文章主要介绍了微调方法（Finetuning method）及其相关参数配置，包括全量微调（full）、冻结微调（freeze）和低秩微调（lora）三种策略，分别适用于不同资源场景和任务需求。全量微调效果最佳但资源消耗大，冻结微调显存需求低但灵活性较差，低秩微调则在参数效率和训练速度上表现优异。此外，文章还提到其他优化工具如RLHF、GaLore、BAdam等，这些工具与微调方法协同使用，进一步提升训练效率和模型输出质量。文章还详细介绍了训练阶段（Stage）和基本配置参数，如量化、学习率、批次大小等，帮
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值