【大模型微调】 是指在已经预训练好的大型语言模型基础上，使用特定的数据集进行进一步的训练，以使模型适应特定任务或领域。是最近两年在深度学习领域快速发展的一个研究领域，相对于从头训练一个大模型可以极大降低成本。近年来，多项优秀的大模型微调方法被提出，也有不少研究者们对已有的方法进行了改进与创新，创造出一系列新颖的大模型技术，并在不同的研究领域得到广泛的应用。
为了帮助大家全面掌握**【大模型微调】** 的方法并寻找创新点，本文总结了最近两年 【大模型微调】 相关的23篇顶会顶刊的前沿研究成果，这些论文的文章、来源、论文的代码都整理好了，希望能给各位的学术研究提供新的思路。
1. QLORA: Efficient Finetuning of Quantized LLMs
方法：
QLORA是一种高效的微调方法，它通过以下关键技术减少内存使用，使得在单个48GB GPU上微调一个65B参数的模型成为可能，同时保持完整的16位微调任务性能：
- 4-bit NormalFloat (NF4)：一种针对正态分布权重信息论最优的新数据类型，与4位整数和4位浮点数相比，具有更好的经验结果。
- Double Quantization：通过量化量化常数来减少平均内存占用的方法，平均每个参数可节省约0.37位。
- Paged Optimizers：使用NVIDIA统一内存特性来避免在处理长序列的mini-batch时发生的梯度检查点的内存峰值。
- Low Rank Adapters (LoRA)：在量化的预训练模型中添加一小套可学习的低秩适配器权重，通过反向传播梯度进行微调。
创新点：
- 4-bit Quantization with NF4：提出了一种新的4位量化方法，专门针对通常具有零中心正态分布的预训练神经网络权重，通过将权重转换到[-1, 1]范围内，实现了信息论最优的量化。
- Double Quantization：创新性地对量化常数进行二次量化，显著降低了模型的内存占用，为大型模型的微调提供了可能性。
- Paged Optimizers：引入了一种新的内存管理策略，通过在CPU和GPU之间自动转移内存页来处理内存峰值，使得在资源受限的设备上微调大型模型成为可能。
- LoRA Integration：将LoRA技术与量化模型相结合，通过在量化的权重上添加低秩适配器，使得模型能够在微调过程中学习到更丰富的表示。
- State-of-the-art Performance：通过QLORA微调的模型，在Vicuna基准测试中达到了前所未有的性能水平，与ChatGPT的性能接近，同时大大减少了所需的计算资源。
- Extensive Analysis：对使用QLORA微调的1000多个模型进行了深入分析，涵盖了指令跟随和聊天机器人性能，这些分析在常规微调方法中由于内存开销而无法实现。
2. METAMATH: BOOTSTRAP YOUR OWN MATHEMATICAL QUESTIONS FOR LARGE LANGUAGE MODELS
方法：
- 问题自举（Question Bootstrapping）: 通过从不同角度重新表述数学问题来自举问题，包括原始问题、LLM（大型语言模型）重述的问题、自我验证问题和FOBAR问题，以增加数据集的多样性。
- MetaMathQA数据集: 结合了正向和逆向推理路径以及增强的答案，创建了一个新的数据集用于微调（finetuning）。
- 微调（Finetuning）: 在MetaMathQA数据集上微调现有的开源大型语言模型（如LLaMA-2），以提升其解决数学问题的能力。
- 答案增强（Answer Augmentation）: 利用少量示例和温度采样生成多个推理路径，并筛选出正确答案的路径作为数据集的补充。
- 问题重述: 使用LLM对问题进行重述，以生成更多的训练样本，并通过监督方法评估重述问题与原始问题之间的一致性。
- 逆向推理问题: 通过遮蔽问题中的一个标记（例如，用“x”标识），并要求模型在提供答案的情况下预测被遮蔽的标记，以增强模型的逆向推理能力。
创新点：
- MetaMath模型: 提出了一种新的微调语言模型，专门用于数学推理，通过自举问题生成了新的数据集MetaMathQA。
- 正向与逆向推理结合: 创新地结合了正向和逆向推理路径，以增强模型对数学知识的理解，而不是简单地记忆答案。
- 问题多样性: 通过问题自举方法显著增加了问题分布的多样性，有助于模型覆盖更多未见场景，提高泛化能力。
- 简化的数据集: MetaMathQA数据集的简化特性可能使其成为激活LLMs潜在数学知识的有效激活器。
- 无需对比学习: 即使没有采用对比学习，MetaMath模型也能在多个基准数据集上超越现有的开源LLMs，显示出数据增强方法的有效性。
- 开放资源: 论文提供了MetaMathQA数据集、不同大小的MetaMath模型和训练代码，供公众使用，这有助于推动开源社区的发展。
- 显著的性能提升: MetaMath在GSM8K和MATH两个流行的数学推理基准测试中，相比其他开源LLMs取得了显著的性能提升。
3. MELTR: Meta Loss Transformer for Learning to Fine-tune Video Foundation Models
方法：
- 论文提出了一种名为MEta Loss TRansformer (MELTR)的新框架，用于学习如何微调视频基础模型。
- MELTR是一个插件模块，能够自动且非线性地结合各种损失函数，通过辅助学习来帮助学习目标任务。
- 该框架将辅助学习问题表述为双层优化问题，并提出了一种基于近似隐式微分（AID）的高效优化算法。
- MELTR基于Transformer架构，接受目标任务损失和预文本任务损失作为输入，并通过自注意力学习它们之间的关系。
- 为了解决在小规模元数据（或验证数据集）时出现的元过拟合问题，MELTR引入了一个正则化项来鼓励学习到的损失保持在合理范围内。
- 论文将MELTR应用于多个视频基础模型（UniVL、Violet和All-in-one），并在四个下游任务（文本到视频检索、视频问题回答、视频字幕生成和多模态情感分析）上进行了评估。
创新点：
- MELTR是首个提出用于学习如何微调视频基础模型的元损失变换器，它能够自动学习如何结合多个辅助损失以提升目标任务的性能。
- 论文提出了一种新颖的双层优化问题的公式化方法，并通过AID算法提供了一种高效的解决方案，避免了传统方法中的高计算成本。
- MELTR通过自注意力机制学习损失函数之间的关系，能够非线性地转换单个损失函数并将其组合成有效的统一损失。
- 论文进行了深入的定性分析，展示了MELTR如何非线性地转换单个损失函数并将其组合成对目标下游任务有效的统一损失。
- MELTR在多个视频基础模型和五个基准视频数据集上的实验结果表明，其显著优于使用单一任务和多任务学习方案的基线。
- 论文还提供了对MELTR如何从辅助学习中学习、以及提出的优化方法是否高效的深入分析和讨论。
读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
👉AI大模型学习路线汇总👈
大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
553
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
