大模型LLM微调技术方法paper汇总！

随着AI技术的发展，大型预训练模型在图像识别、自然语言处理等领域表现出色，不过为了使其适应特定的任务和数据集，这些模型通常需要针对特定应用进行微调。

今天就特意整理了12篇大模型LLM微调技术方法paper分享给大家，提供了对于LLM在不同场景下进行高效微调的深入分析、实践经验和技术突破，大家可以学习一下！

1、Efficient Large Language Models: A Survey

高效的大型语言模型：综述

简述： 本文对高效LLMs研究的发展进行了系统而全面的回顾，并将文献整理成由三个主要类别组成的分类法，从模型中心、数据中心和框架中心的角度涵盖了不同但相互关联的高效LLMs主题，并且从以模型为中心和以数据为中心的角度，回顾了LLMs的算法层面和系统层面的高效技术。

2、Parameter-efficient fine-tuning of large-scale pre-trained language models

大型预训练语言模型的参数高效微调

简述： 本文探索了增量式微调方法在预训练模型中的应用，首先提出了两个框架：分别从优化和最佳控制角度分析增量式微调。从实验结论上看，作者在100多个NLP任务上进行了广泛的实验，以便对任务级可迁移性，Delta-tuning方法的组合及规模进行评估，为该方法的设计提供了理论依据。

3、Vision-Language Instruction Tuning: A Review and Analysis

视觉-语言指令调优：综述与分析

简述： 本文系统性地回顾了多模态LLMs中最新的VLIT设置以及相应的数据集，并提供对它们设计背后内在动机的深刻理解。文中首次提供了对现有VLIT数据集的详细的多角度分类，并识别了高质量VLIT数据应具备的特征，并将这些特征作为指导原则纳入现有的VLIT数据构建过程，确定了高质量VLit数据应具备的特征。

4、Scaling Instruction-Finetuned Language Models

缩放指令 - 微调语言模型

简述： 本文专注于扩大任务数量、模型规模和思维链数据上的微调。研究发现，这些微调显著提升了不同模型（如PaLM、T5、U-PaLM）在各种评估基准上的性能，例如，指令微调后的Flan-PaLM 540B大幅超越了PaLM 540B。此外，文中还公开了Flan-T5的检查点，它在少样本测试中即便与大模型相比也具有强劲表现。

5、BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models

BitFit：对基于 Transformer 的掩码语言模型进行简单的参数高效微调

简述： 文中提出了BitFit，一种只调整模型偏置项的稀疏微调方法。研究表明，在小到中型数据量下，BitFit应用于预训练的BERT模型与全模型微调相比具有竞争力，有时效果更佳。在大数据量下，它与其他稀疏微调方法相当。

6、Training and fine-tuning large language models

训练和微调大型语言模型

简述： 本文解释了LLM是如何被训练和微调来创建像聊天GPT这样的系统的，讨论了模型的预训练、少量学习、监督微调、来自人类反馈的强化学习(RLHF)和直接偏好优化。在本文中，作者努力使这些概念在数学上精确，并提供为什么使用特定技术的见解。

7、Large Language Models for Software Engineering: A Systematic Literature Review

面对软件工程的大型语言模型：综述

简述： 本文探讨了LLM在软件工程中的应用，用以优化工作流和成果。文中解决了四个研究问题（RQ）：RQ1 分类了SE任务中的LLM及其特点；RQ2 讨论了数据管理的方法对成功实施SE LLM的重要性；RQ3 分析了评估和优化LLM性能的策略；而RQ4 则聚焦于LLM在SE中的成功应用。

8、POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models

POUF：面向提示的大型预训练模型无监督微调

简述： 本文中提出了一种无监督微调框架，直接在未标记的目标数据上进行微调。此方法适用于语言增强视觉模型和遮蔽语言模型，通过对齐提示和目标数据的离散分布。在图像分类、情感分析和自然语言推理等任务上的广泛实验表明，这种方法在多项任务上均优于基准模型。

9、Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning

用于预训练语言模型微调的监督对比学习

简述： 文中为自然语言理解分类模型的微调阶段提出了一个监督对比学习（SCL）目标，它能更好地捕捉类内相似性和类间对比。结合交叉熵损失，SCL显著提升了在GLUE基准的少样本学习上的性能，且不需要特殊架构或额外数据。这种微调策略增强了模型对噪声的鲁棒性，改进了对有限标记数据任务的泛化能力。

10、Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation

面向更好的中文指令跟随语言模型：探究训练数据和评价的影响

简述： 本文分析了训练数据因素对对话模型性能的影响，包括数量、质量和语言分布，文中使用1000个样本评估集评估了各种模型，涵盖9个真实场景，目的是通过定量分析提供有价值的见解，推进开源聊天模型的发展，并且还扩展了LLaMA的词汇表，进行了二次预训练。

11、DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

DreamBooth：微调文本到图像扩散模型，用于主题驱动的生成

简述： 文中提出了一种文本到图像扩散模型的“个性化”新方法，可以在不同场景中合成具有个性化特征的逼真图像。这种方法利用语义先验和类特定先验保持损失技术，能够在多样化的环境中合成主体，同时保留其关键特征。此技术适用于多种任务，如主体再上下文化、文本引导视图合成和艺术渲染。

12、Visual Instruction Tuning

视觉指令调优

简述： 本文中引入LLaVA：大型语言和视觉助手，一个端到端训练的大型多模态模型，用于连接视觉编码器和LLM以实现通用视觉和语言理解。LLaVA展现出令人印象深刻的多模态聊天能力，并在合成多模态指令跟随数据集上与GPT-4相比得分相对提高了85.1%。在Science QA上微调时，LLaVA和GPT-4的协同作用实现了92.53%的新状态-of-the-art准确率。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓