大模型LLM微调技术方法paper汇总！

最新推荐文章于 2024-08-27 01:12:23 发布

bugyinyin

最新推荐文章于 2024-08-27 01:12:23 发布

阅读量518

点赞数 11

文章标签：人工智能语言模型 ai llama 大模型微调机器学习深度学习

本文链接：https://blog.csdn.net/bugyinyin/article/details/140951484

版权

前言

随着AI技术的发展，大型预训练模型在图像识别、自然语言处理等领域表现出色，不过为了使其适应特定的任务和数据集，这些模型通常需要针对特定应用进行微调。

今天就特意整理了12篇大模型LLM微调技术方法paper分享给大家，提供了对于LLM在不同场景下进行高效微调的深入分析、实践经验和技术突破，大家可以学习一下！

1、Efficient Large Language Models: A Survey

高效的大型语言模型：综述

简述： 本文对高效LLMs研究的发展进行了系统而全面的回顾，并将文献整理成由三个主要类别组成的分类法，从模型中心、数据中心和框架中心的角度涵盖了不同但相互关联的高效LLMs主题，并且从以模型为中心和以数据为中心的角度，回顾了LLMs的算法层面和系统层面的高效技术。

2、Parameter-efficient fine-tuning of large-scale pre-trained language models

大型预训练语言模型的参数高效微调

简述： 本文探索了增量式微调方法在预训练模型中的应用，首先提出了两个框架：分别从优化和最佳控制角度分析增量式微调。从实验结论上看，作者在100多个NLP任务上进行了广泛的实验，以便对任务级可迁移性，Delta-tuning方法的组合及规模进行评估，为该方法的设计提供了理论依据。

3、Vision-Language Instruction Tuning: A Review and Analysis

视觉-语言指令调优：综述与分析

简述： 本文系统性地回顾了多模态LLMs中最新的VLIT设置以及相应的数据集，并提供对它们设计背后内在动机的深刻理解。文中首次提供了对现有VLIT数据集的详细的多角度分类，并识别了高质量VLIT数据应具备的特征，并将这些特征作为指导原则纳入现有的VLIT数据构建过程，确定了高质量VLit数据应具备的特征。

4、Scaling Instruction-Finetuned Language Models

缩放指令 - 微调语言模型

简述： 本文专注于扩大任务数量、模型规模和思维链数据上的微调。研究发现，这些微调显著提升了不同模型（如PaLM、T5、U-PaLM）在各种评估基准上的性能，例如，指令微调后的Flan-PaLM 540B大幅超越了PaLM 540B。此外，文中还公开了Flan-T5的检查点，它在少样本测试中即便与大模型相比也具有强劲表现。

5、BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models

BitFit：对基于 Transformer 的掩码语言模型进行简单的参数高效微调

简述： 文中提出了BitFit，一种只调整模型偏置项的稀疏微调方法。研究表明，在小到中型数据量下，BitFit应用于预训练的BERT模型与全模型微调相比具有竞争力，有时效果更佳。在大数据量下，它与其他稀疏微调方法相当。

6、Training and fine-tuning large language models

训练和微调大型语言模型

简述： 本文解释了LLM是如何被训练和微调来创建像聊天GPT这样的系统的，讨论了模型的预训练、少量学习、监督微调、来自人类反馈的强化学习(RLHF)和直接偏好优化。在本文中，作者努力使这些概念在数学上精确，并提供为什么使用特定技术的见解。

7、Large Language Models for Software Engineering: A Systematic Literature Review

面对软件工程的大型语言模型：综述

简述： 本文探讨了LLM在软件工程中的应用，用以优化工作流和成果。文中解决了四个研究问题（RQ）：RQ1 分类了SE任务中的LLM及其特点；RQ2 讨论了数据管理的方法对成功实施SE LLM的重要性；RQ3 分析了评估和优化LLM性能的策略；而RQ4 则聚焦于LLM在SE中的成功应用。

8、POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models

POUF：面向提示的大型预训练模型无监督微调

简述： 本文中提出了一种无监督微调框架，直接在未标记的目标数据上进行微调。此方法适用于语言增强视觉模型和遮蔽语言模型，通过对齐提示和目标数据的离散分布。在图像分类、情感分析和自然语言推理等任务上的广泛实验表明，这种方法在多项任务上均优于基准模型。

9、Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning

用于预训练语言模型微调的监督对比学习

简述： 文中为自然语言理解分类模型的微调阶段提出了一个监督对比学习（SCL）目标，它能更好地捕捉类内相似性和类间对比。结合交叉熵损失，SCL显著提升了在GLUE基准的少样本学习上的性能，且不需要特殊架构或额外数据。这种微调策略增强了模型对噪声的鲁棒性，改进了对有限标记数据任务的泛化能力。

10、Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation

面向更好的中文指令跟随语言模型：探究训练数据和评价的影响

简述： 本文分析了训练数据因素对对话模型性能的影响，包括数量、质量和语言分布，文中使用1000个样本评估集评估了各种模型，涵盖9个真实场景，目的是通过定量分析提供有价值的见解，推进开源聊天模型的发展，并且还扩展了LLaMA的词汇表，进行了二次预训练。

11、DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

DreamBooth：微调文本到图像扩散模型，用于主题驱动的生成

**简述：**文中提出了一种文本到图像扩散模型的“个性化”新方法，可以在不同场景中合成具有个性化特征的逼真图像。这种方法利用语义先验和类特定先验保持损失技术，能够在多样化的环境中合成主体，同时保留其关键特征。此技术适用于多种任务，如主体再上下文化、文本引导视图合成和艺术渲染。

12、Visual Instruction Tuning

视觉指令调优

简述： 本文中引入LLaVA：大型语言和视觉助手，一个端到端训练的大型多模态模型，用于连接视觉编码器和LLM以实现通用视觉和语言理解。LLaVA展现出令人印象深刻的多模态聊天能力，并在合成多模态指令跟随数据集上与GPT-4相比得分相对提高了85.1%。在Science QA上微调时，LLaVA和GPT-4的协同作用实现了92.53%的新状态-of-the-art准确率。