AI大模型开发架构设计（4）——人人需要掌握的大模型微调

最新推荐文章于 2024-08-27 00:11:40 发布
置顶 最新推荐文章于 2024-08-27 00:11:40 发布
阅读量2k 收藏 11
点赞数 14
分类专栏： AIGC 文章标签： AIGC Prompt Engineer LangChain Fine-tuning LoRA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangwei234/article/details/135737426
版权
本文介绍了大模型微调的必要性，包括微调的三个关键能力（提示词工程、框架如LangChain），以及何时选择微调（资源有限、数据相似）、如何微调（全参数与参数高效方式）。还详细解析了LoRA原理，并提供了代码示例和训练过程中的数据集对比。
摘要由CSDN通过智能技术生成

文章目录

人人需要掌握的大模型微调

1 大模型Fine-tuning（微调）

需要具备三个方面的能力
  • Prompt Engineer（提示词工程）
  • LangChain（一个框架的名字）
  • Fine-tuning（微调）

image.png

Fine-tuning（微调）
  • 何时 Fine-tuning（微调）
  • 什么情况下使用微调？
  • 不同微调方式
  • 基于LoRA微调
何为Fine-tuning（微调）

关于模型训练

  • From Scratch：从头训练
  • Fine-tune：微调/接着别人的训练

  • From Scratch：从头训练

    • 对于大模型而言，对一般的团队和个人：不行
      • 训练周期太长
      • 数据量要求太大
      • 成本太高

image.png

image.png

  • Fine-tune：微调/接着别人的训练
    • 对于大模型而言，这很有意义
      • 你要用什么，就训练什么，数据可以更精准，量可以更小
      • 拥有已训练好的大模型的特性优势
      • 成本极大降低
什么情况下使用微调？
  • 计算资源太少
  • 数据集相似，但数据集数量太少
  • 自己搭建或者使用的 CNN 模型正确率太低
  • 你要使用的数据集和预训练模型的数据集相似，如果不太相似，比如你用的预训练的参数是自然景物的图片，你却要做人脸的识别，效果可能就没有那么好了，因为人脸的特征和自然景物的特征提取是不同的，所以相应的参数训练后也是不同的
怎么微调？
  • 全参数 Fine-tune：比如针对 1700 亿参数进行微调
  • 小参数量 Fine-tune
    • Adapters
    • Prompt-tuning：提示词
    • LoRA：只需要万分之一参数

image.png

2 LoRA

原理浅析
  • 想要真正明白，需要先了解 Transformer 结构
  • 原始的 4096 × 4096 全连接方式 → 引入中间层 4096 × 4 + 4 × 4096 = 4096 × 8

image.png

代码准备
  • 常用代码：https://github.com/huggingface/peft
  • PEFT：parameter-efficient fine-tuning
  • Hugging face：一家初创公司(2016)，最早做聊天机器人，现在集成并开源了很多大模型库/方法

image.png

生成新模型
  • 简单的代码调用，即可生成新模型：

image.png

训练模型
  • 训练代码：

image.png

数据集dataset

image.png

看看输出
  • Fine-tune 之前

image.png

  • Fine-tune 之后

image.png

讲文明的喜羊羊拒绝pua
关注
专栏目录
七、大模型-什么是Fine-tuning
xiaoqi270620903的专栏
03-20 2571
Fine-tuning 是指在一个已经训练好的模型基础上，通过使用新的数据集或任务来进一步调整模型参数的过程。通常情况下，已经训练好的模型是在大规模数据集上进行训练得到的，而 Fine-tuning 则可以使模型适应新的特定任务或数据集。
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
AI天才研究院
07-04 1760
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
AI大模型微调实操完整指南
老皮的博客
07-21 1321
文本摘要需要生成文本的简明版本，同时保留最重要的信息。为了微调文本摘要的 GPT，我们在包含文本及其相应摘要的数据集上对其进行训练。例如，谷歌开发了T5，这是一种基于GPT的模型，针对文本摘要任务进行了优化。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
【大模型理论篇】大模型微调之指令微调(Instruction Fine-Tuning)
最新发布
源泉的小广场
08-27 2237
指令微调、大模型、instruction fine-tuning、监督微调、微调技术、大模型微调、llm fine tune、指令数据集、prompt、微调实战、Alpaca、llama2微调
【大模型微调】一文掌握7种大模型微调的方法
热门推荐
python123456_的博客
05-16 1万+
本篇文章深入分析了大型模型微调的基本理念和多样化技术，细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景，使得读者可以依据特定的应用要求和计算资源限制，挑选最适合的微调方案。大型语言模型(LLM)的训练过程通常分为两大阶段：阶段一：预训练阶段在这个阶段，大型模型会在大规模的无标签数据集上接受训练，目标是使模型掌握语言的统计特征和基础知识。
大家都在说的AI大模型微调到底是什么？最易懂的AI知识科普！为你解决对“微调”所有的疑问
python1234_的博客
06-25 1543
chatgpt说：模型微调(Model Fine-tuning)是指在已经训练好的模型基础上，针对特定任务或数据集进行调整，以获得更好的性能。通常情况下，模型微调是在预训练模型的基础上完成的，它可以提高模型在新任务或新数据集上的表现。举个例子，如下图，一个与训练出来的什么都会的小羊驼(大语言模型)，又通过FineTuning微调，学习了到专业的知识和背景(领域知识)，于是它变成了一个领域专家(行业大语言模型)微调，翻译自Fine tuning，简称FT，也被很多人称为“精调”。
AI大模型的指令微调
xzp740813的博客
06-18 451
有监督微调（Supervised Finetuning，SFT）又称指令微调（Instruction Tuning），是指在已经训练好的语言模型的基础上，通过使用有标注的特定任务数据进行进一步的微调，使模型具备遵循指令的能力。由于大语言模型的参数量十分庞大，当将其应用到下游任务时，微调全部参数需要相当高的算力。为了节省成本，研究人员提出了多种参数高效（Parameter Efficient）的微调方法，旨在仅训练少量参数使模型适应到下游任务。
AI大模型开发架构设计（5）——人人能学会的Llama-2大模型微调
yangwei2048的博客
01-27 1489
Meta联合微软在 2023年7月19日，共同宣布开源了 Llama-2 大模型亚马逊 Azure、Huggingface 等都宣布提供 Llama-2 云服务器阿里云、腾讯云、百度云等也都提供了 Llama-2 云服务Llama-2不但免费，还可以商业化使用有机会打破 ChatGPT 的垄断地位，进一步降低开发者的使用成本。
大模型指令微调概述，大模型微调简单介绍ppt
10-30
这一过程的效率在于，它可以快速适应特定领域，而无需大规模的重新训练或对模型架构进行重大修改。对于大型语言模型来说，指令微调提供了一个途径，使得它们能够在保持高效计算的同时，展现出更强的领域适应性和任务...
【AI大模型企业级应用开发实战】企业级应用集成AI大模型的架构，包括大模型概述、集成实践、技术架构设计及应用场景《AI大模型应用架构（ALLMA）白皮书》
AI天才研究院
06-30 9598
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
用RLHF微调提升AI大语言模型的文本摘要与生成式摘要
AI天才研究院
03-10 116
近年来，随着深度学习技术的快速发展，AI大语言模型逐渐成为了自然语言处理领域的研究热点。从OpenAI的GPT系列、Google的BERT系列，到最近的微软的Turing-NLG，这些大型预训练模型在各种自然语言处理任务上都取得了显著的成果，如机器翻译、问答系统、文本摘要等。文本摘要任务是自然语言处理领域的一个重要任务，其目标是从原始文本中提取关键信息，生成简洁、准确的摘要。然而，由于文本摘要任务涉及到多种复杂的语言现象，如语义理解、篇章结构分析等，因此在实际应用中仍然面临着许多挑战。
什么是AI大模型的微调
2401_85325726的博客
05-30 837
在人工智能领域，随着深度学习技术的快速发展，大型预训练模型（大模型）成为了自然语言处理、计算机视觉等多个领域的研究热点。大模型通常具有海量的参数和强大的表征学习能力，它们通过在大规模数据集上进行预训练，学会了丰富的知识和模式。然而，对于具体的下游任务，大模型往往还需要进行一定的调整，以适应不同任务的需求，这就是所谓的**“微调”（Fine-tuning）**。微调是一种迁移学习的技术，它利用大模型在预训练阶段学到的知识，通过调整模型的参数来适应新的任务。
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 775
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
全栈大模型微调框架LLaMA Factory：从预训练到RLHF的高效实现
zenRRan的博客
03-04 2125
主题全栈大模型微调框架LLaMA Factory：从预训练到RLHF的高效实现个人简介郑耀威，北京航空航天大学博士生。以第一作者在CVPR、AAAI、WWW等国际会议发表多篇论文，担任AAAI、EMNLP、Neural Computation等会议和期刊审稿人。获得华为杯、蓝桥杯全国一等奖、北航大学生年度人物、北航博士生奖学金。大模型微调框架LLaMA Factory发起人和主要开发者，GitHu...
有浏览器就行，手把手带你从零微调大模型！
python12345_的博客
07-09 1605
今天分享一篇技术文章，你可能听说过很多大模型的知识，但却从未亲自使用或微调过大模型。大模型微调本身是一件非常复杂且技术难度很高的任务，因此本篇文章仅从零开始，手把手带你走一遍微调大模型的过程，并不会涉及过多技术细节。希望通过本文，你可以了解微调大模型的流程。微调大模型需要非常高的电脑配置，比如GPU环境，相当于你在已经预训练好的基础上再对大模型进行一次小的训练。但是不用担心，本篇文章会使用阿里魔塔社区提供的集成环境来进行，无需使用你自己的电脑配置环境。
AI大模型使用(七)-模型微调与流式生成
dfBeautifulLive的博客
10-07 624
今天我们可以用自己的数据训练出一个模型，这样就可以回答相关内容的问题，我们可以用OpenAI提供的模型微调功能。为什么要微调呢，就是在某些领域里一些数据比较丰富，会比基础模型的某些数据更丰富，所以就可以利用这些数据来“微调”一个特别擅长这个垂直领域的模型，这个模型微调完，我们就可以直接提问了。模型微调的过程，就是根据输入的内容，在原来的基础模型上训练。所以我们需要提供一个基础模型，在它的基础上进行微调，可以是Ada、Babbage、Curie 和 Davinci等等等。。
【2024最新】深入了解 大语言模型（LLM）微调方法（总结）
m0_48891301的博客
05-06 2374
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。即更新模型所有权重的过程，被称为全微调。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
LLaMA-Factory：大语言模型微调框架（大模型）
2301_81940605的博客
07-18 3028
LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计
【大模型】大模型微调方法总结（三）
Dong_ZH的博客
06-26 716
因为之前的人工构建的template是离散的，且针对不同的下游任务，需要构建不同的模版。手动尝试最优的提示无异于大海捞针，于是便有了自动离散提示搜索的方法，但提示是离散的，神经网络是连续的，所以寻找的最优提示可能是次优的。Prompt token 的长度在20左右时的表现已经不错（超过20之后，提升Prompt token长度，对模型的性能提升不明显了），同样的，这个gap也会随着模型参数规模的提升而减小（即对于超大规模模型而言，即使 Prompt token 长度很短，对性能也不会有太大的影响）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

讲文明的喜羊羊拒绝pua

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值