大模型微调新突破！23个最新创新方案，全面提升模型性能！

和老莫一起学AI

于 2024-09-05 10:17:30 发布

阅读量382

点赞数 5

文章标签：人工智能面试 ai 大模型 agi 算法

本文链接：https://blog.csdn.net/2401_85373691/article/details/141924044

版权

【大模型微调】 是指在已经预训练好的大型语言模型基础上，使用特定的数据集进行进一步的训练，以使模型适应特定任务或领域。是最近两年在深度学习领域快速发展的一个研究领域，相对于从头训练一个大模型可以极大降低成本。近年来，多项优秀的大模型微调方法被提出，也有不少研究者们对已有的方法进行了改进与创新，创造出一系列新颖的大模型技术，并在不同的研究领域得到广泛的应用。

1.QLORA: Efficient Finetuning of Quantized LLMs

方法：

QLORA是一种高效的微调方法，它通过以下关键技术减少内存使用，使得在单个48GB GPU上微调一个65B参数的模型成为可能，同时保持完整的16位微调任务性能：

- 4-bit NormalFloat (NF4)：一种针对正态分布权重信息论最优的新数据类型，与4位整数和4位浮点数相比，具有更好的经验结果。

- Double Quantization：通过量化量化常数来减少平均内存占用的方法，平均每个参数可节省约0.37位。

- Paged Optimizers：使用NVIDIA统一内存特性来避免在处理长序列的mini-batch时发生的梯度检查点的内存峰值。

- Low Rank Adapters (LoRA)：在量化的预训练模型中添加一小套可学习的低秩适配器权重，通过反向传播梯度进行微调。

创新点：

- 4-bit Quantization with NF4：提出了一种新的4位量化方法，专门针对通常具有零中心正态分布的预训练神经网络权重，通过将权重转换到[-1, 1]范围内，实现了信息论最优的量化。

- Double Quantization：创新性地对量化常数进行二次量化，显著降低了模型的内存占用，为大型模型的微调提供了可能性。

- Paged Optimizers：引入了一种新的内存管理策略，通过在CPU和GPU之间自动转移内存页来处理内存峰值，使得在资源受限的设备上微调大型模型成为可能。

- LoRA Integration：将LoRA技术与量化模型相结合，通过在量化的权重上添加低秩适配器，使得模型能够在微调过程中学习到更丰富的表示。

- State-of-the-art Performance：通过QLORA微调的模型，在Vicuna基准测试中达到了前所未有的性能水平，与ChatGPT的性能接近，同时大大减少了所需的计算资源。

- Extensive Analysis：对使用QLORA微调的1000多个模型进行了深入分析，涵盖了指令跟随和聊天机器人性能，这些分析在常规微调方法中由于内存开销而无法实现。

2.METAMATH: BOOTSTRAP YOUR OWN MATHEMATICAL QUESTIONS FOR LARGE LANGUAGE MODELS

方法：

- 问题自举（Question Bootstrapping）: 通过从不同角度重新表述数学问题来自举问题，包括原始问题、LLM（大型语言模型）重述的问题、自我验证问题和FOBAR问题，以增加数据集的多样性。

- MetaMathQA数据集: 结合了正向和逆向推理路径以及增强的答案，创建了一个新的数据集用于微调（finetuning）。

- 微调（Finetuning）: 在MetaMathQA数据集上微调现有的开源大型语言模型（如LLaMA-2），以提升其解决数学问题的能力。

- 答案增强（Answer Augmentation）: 利用少量示例和温度采样生成多个推理路径，并筛选出正确答案的路径作为数据集的补充。

- 问题重述: 使用LLM对问题进行重述，以生成更多的训练样本，并通过监督方法评估重述问题与原始问题之间的一致性。

- 逆向推理问题: 通过遮蔽问题中的一个标记（例如，用“x”标识），并要求模型在提供答案的情况下预测被遮蔽的标记，以增强模型的逆向推理能力。

创新点：

- MetaMath模型: 提出了一种新的微调语言模型，专门用于数学推理，通过自举问题生成了新的数据集MetaMathQA。

- 正向与逆向推理结合: 创新地结合了正向和逆向推理路径，以增强模型对数学知识的理解，而不是简单地记忆答案。

- 问题多样性: 通过问题自举方法显著增加了问题分布的多样性，有助于模型覆盖更多未见场景，提高泛化能力。

- 简化的数据集: MetaMathQA数据集的简化特性可能使其成为激活LLMs潜在数学知识的有效激活器。

- 无需对比学习: 即使没有采用对比学习，MetaMath模型也能在多个基准数据集上超越现有的开源LLMs，显示出数据增强方法的有效性。

- 开放资源: 论文提供了MetaMathQA数据集、不同大小的MetaMath模型和训练代码，供公众使用，这有助于推动开源社区的发展。

- 显著的性能提升: MetaMath在GSM8K和MATH两个流行的数学推理基准测试中，相比其他开源LLMs取得了显著的性能提升。

3.MELTR: Meta Loss Transformer for Learning to Fine-tune Video Foundation Models

方法：

- 论文提出了一种名为MEta Loss TRansformer (MELTR)的新框架，用于学习如何微调视频基础模型。

- MELTR是一个插件模块，能够自动且非线性地结合各种损失函数，通过辅助学习来帮助学习目标任务。

- 该框架将辅助学习问题表述为双层优化问题，并提出了一种基于近似隐式微分（AID）的高效优化算法。

- MELTR基于Transformer架构，接受目标任务损失和预文本任务损失作为输入，并通过自注意力学习它们之间的关系。

- 为了解决在小规模元数据（或验证数据集）时出现的元过拟合问题，MELTR引入了一个正则化项来鼓励学习到的损失保持在合理范围内。

- 论文将MELTR应用于多个视频基础模型（UniVL、Violet和All-in-one），并在四个下游任务（文本到视频检索、视频问题回答、视频字幕生成和多模态情感分析）上进行了评估。

创新点：

- MELTR是首个提出用于学习如何微调视频基础模型的元损失变换器，它能够自动学习如何结合多个辅助损失以提升目标任务的性能。

- 论文提出了一种新颖的双层优化问题的公式化方法，并通过AID算法提供了一种高效的解决方案，避免了传统方法中的高计算成本。

- MELTR通过自注意力机制学习损失函数之间的关系，能够非线性地转换单个损失函数并将其组合成有效的统一损失。

- 论文进行了深入的定性分析，展示了MELTR如何非线性地转换单个损失函数并将其组合成对目标下游任务有效的统一损失。

- MELTR在多个视频基础模型和五个基准视频数据集上的实验结果表明，其显著优于使用单一任务和多任务学习方案的基线。

- 论文还提供了对MELTR如何从辅助学习中学习、以及提出的优化方法是否高效的深入分析和讨论。

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。

⑤AI+零售：智能推荐系统和库存管理优化了用户体验和运营成本。AI可以分析用户行为，提供个性化商品推荐，同时优化库存，减少浪费。

⑥AI+交通：自动驾驶和智能交通管理提升了交通安全和效率。AI技术可以实现车辆自动驾驶，并优化交通信号控制，减少拥堵。

…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。