AIGC Fine-tuning笔记

最新推荐文章于 2024-06-15 23:43:01 发布
最新推荐文章于 2024-06-15 23:43:01 发布
阅读量97 收藏
点赞数
分类专栏： AIGC 文章标签： AIGC 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43266707/article/details/135180156
版权

吴恩达Fine-tuning LLMS课程链接

为什么要finetune

1、什么是fine-tuning？

fine-tuning就是将通用大模型，通过特定数据的训练，将其调试成为具有某项专业功能的大模型，例如GPT-3通过微调之后，成为ChatGPT；GPT-4经过微调之后，成为GitHub Copilot，PCP通用医疗模型，经过微调之后，可以成为心肺专家或者皮肤专家
在这里插入图片描述

2、微调对模型做了什么？

允许您向模型中放入比提示所需数据更多的数据
获取模型以学习数据，而不仅仅是获取对数据的访问权限

3、finetune的优点

将模型导向更一致的输出
减少幻觉
根据特定用例自定义模型
过程与模型早期的训练类似

4、提示工程和微调的对比

提示工程
优点：

  1. 不需要起始数据
  2. 前期投入较少
  3. 不需要技术知识
  4. 通过RAG连接数据

缺点：

  1. 有比较少的数据能吻合
  2. 数据匹配度不够
  3. 生成的答案可能是通过胡编乱造的
  4. RAG并不能很好的起到作用，或者会得到错误的数据

微调
优点：

  1. 几乎无限的数据拟合
  2. 能够学习到新的信息
  3. 纠正错误信息
  4. 如果模型较小，则成本更低
  5. 也用到了RAG

缺点

  1. 需要高质量的数据
  2. 前期投入计算成本较高
  3. 需要一些技术、数据方面的能力
微调自己大语言模型的好处
表现
  1. 减少llm的胡编乱造
  2. 增加一致性
  3. 减少不想要的信息输出
私密性
  1. 本地化部署
  2. 防止泄露
  3. 无违规行为
成本
  1. 每次请求成本降低
  2. 提高透明度
  3. 更好的控制
现实因素
  1. 控制正常运行时间
  2. 更低的延迟
  3. 适度

where finetuning fits in

模型预训练

在这里插入图片描述
What is “data scraped tromthe internet"?
Often not publicized how to pretrain
Open-source pretraining data: “The Pile”
Expensive & time-consuming to train
模型预训练
在这里插入图片描述

微调模型

微调通常是指进一步训练

  1. 可以用自监督没有打标签的数据
  2. 可用自己创建的标签数据
  3. 通常需要的训练数据比预训练的数据少
  4. 工具箱重的工具

生成任务的微调没有明确定义：

  1. 更新全部的模型参数，而非部分
  2. 具有相同的训练目标：预测下一个token
  3. 更高级的方法可以减少更新量

在这里插入图片描述

指令微调

1、什么是指令微调
  • teaches model to behave more like a chatbot
  • better user interface for model interaction 更好的模型交互用户界面
  •  将GPT-3转化为ChatGPT

  •  将AI的使用率从数以千计的研究员提升到数百万的普通人
指令遵循数据集

现有数据集

  • FAQS：常见问题
  • 客服问题
  • slack信息
LLM 数据生成

大模型数据生成：
如果没有Q&A数据的话，可以通过提示模板或者其他的大语言模型进行生成

指令微调泛化

可以访问模型预先存在的知识

将以下说明推广到其他数据，而不是调整数据集
在这里插入图片描述

数据准备

在这里插入图片描述

what kind of data

better：高质量、多样性、真实、大量
worse：低质量、同一化、生成、少量

steps to prepare your data
  1. 收集“指令-回复”对（数据集）
  2. 连接对（如果适用，添加提示模板）
  3. 标记化：填充、分解
  4. 拆分成训练集、测试集
    在这里插入图片描述
标记数据tokenizing

有多种流行的tokenizers
适用与模型相关的tokenizer
在这里插入图片描述

训练过程

微调训练过程与预训练过程一致

  1. 添加训练数据
  2. 计算损失函数loss
  3. 利用反馈神经网络调参
  4. 更新参数

参数更新

  1. 学习率
  2. 学习率调度器
  3. 优化参数

在这里插入图片描述

评价和迭代evaluation and iteration

评价模型的方法

1、人工评价（图灵测试）：人工专家评价是比较值得信任的，但是耗费人工
2、test suites：高质量的测试数据非常重要（高质量、正确性、广义的、）
3、Elo 排名
在这里插入图片描述

通用LLM基准

ARC是一组小学问题

HellaSwag是对常识的考验

MMLU是一个多任务度量，涵盖初等数学史、计算机科学、法律等

TruthfulQA衡量一个模型制造网上常见的虚假信息的倾向在这里插入图片描述

误差分析

在微调之前了解基本模型的行为，是什么导致了模型效果不好

对数据集的错误进行分类：更新数据，在数据层面解决这些问题，如错别字、句子太长、重复语句等
在这里插入图片描述

considerations on getting started now

微调的步骤

  1. 项目目标：弄清楚任务目标

  2. 收集数据集：收集与任务输入/输出相关的数据

    	如果没有足够的数据，则生成数据

  3. 微调小型模型（例如400M-1B）

  4. 改变你给模型的数据量

  5. 评估你的LLM，了解进展顺利与否

  6. 收集更多数据以改进

  7. 增加任务复杂性

  8. 增加型号尺寸以提高性能

Tasks to finetune vs. model size

复杂性：更多的token输出更难

提取：reading is easier：关键词、主题词、routing、agents 生成：writing is
harder：聊天、写邮件、写代码

任务组合比单一任务更难
复杂的模型或更通用的模型意味着更大量级的模型

例如，你可能希望agent更为灵活，一次性可以帮忙解决很多问题

在这里插入图片描述

Lora

在大模型的基础上，进行微调。训练Lora是一种低成本的方法
LORA：LLM的低阶自适应

更少的可训练参数：GPT3，少了10000倍

更少的GPU内存：对于GPT3，减少3倍

略低于微调精度

在某些层训练新权重，冻结大部分的权重

新权重：原始权重变化的秩分解矩阵

推理时，与主要权重合并

使用LORA适应新的、不同的任务

在这里插入图片描述

Mary_258
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
微调fine-tuning.pdf
06-14
微调fine-tuning.pdf微调fine-tuning.pdf微调fine-tuning.pdf微调fine-tuning.pdf
VITS-fast-fine-tuning训练准备的样例数据，内容包含预训练模型、配置文件、语音素材等
09-12
VITS-fast-fine-tuning训练准备的样例数据，可以快速体验该模型的语音合成效果。内容包含预训练模型、配置文件、语音素材等。
VITS-fast-fine-tuning训练准备的样例数据，可以快速体验该模型的语音合成效果
06-09
VITS-fast-fine-tuning训练准备的样例数据，可以快速体验该模型的语音合成效果。内容包含预训练模型、配置文件、语音素材等。
openai/chatgpt微调/fine-tuning/测试用/投喂资源
03-06
整理了chatgpt微调所需要的测试资源数据，按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。 微调完毕后可以 -p 回答结果。 其中包含三四百条数据。 适合测试openai自定义模型的人群使用。
fine-tuning介绍
01-20
在深度学习过程中，获取数据集后，在训练自己的网络之前，用别人现有的网络进行fine-tuning（微调），然后训练。在实践中，由于数据集不够大，很少有人从头开始训练网络，常见的做法是使用预训练的网络来重新fine-tuning（微调），或者当做特征提取器。fine-tuning是迁移学习的一种手段（方法）。 Transfer Learning Definition Ability of a system to recognize and apply knowledge and skills learned in previous domains/tasks to novel domains/t
一文了解AIGC与ChatGPT
qq_39403646的博客
10-23 4891
一、AIGC简介1.AIGC基础(1)AIGC是什么AIGC是人工智能图形计算的缩写，是一种基于图形处理器（GPU）的计算技术，可以加速各种计算任务，包括机器学习、深度学习、计算机视觉等。AIGC是一种基于GPU的计算技术，它利用GPU的并行计算能力来加速各种计算任务。GPU是一种专门设计用于图形处理的处理器，它可以同时处理大量的数据，因此被广泛应用于游戏、视频处理等领域。而AIGC则是将GPU的并行计算能力应用于人工智能领域，可以加速各种计算任务，包括机器学习、深度学习、计算机视觉等。AIGC的优势在于它
[论文阅读] (32)南洋理工大学刘杨教授——网络空间安全和AIGC整合之道学习笔记及强推（InForSec）
杨秀璋的专栏
05-01 1046
本文是南洋理工大学刘杨教授在InForSec学术报告的分享学习笔记，题目是“网络空间安全和AIGC整合之道”。刘老师是我们非常佩服的一位大佬，他们的很多安全工作都值得我们学习，这次分享真的很棒，值得大家去学习。同时，更重要是看看刘老师他们团队面对一个新方向或新热点，他们是如何去探索与安全结合，如何去从事科学研究的。本文按照刘老师汇报内容描述，并凝练出重点内容（详见博文中重点标注的思路梳理），尤其是科研探索的过程，从而方便大家学习。学习笔记文章，希望对大家有所帮助。最后感谢刘老师的分享！
大模型fine-tune 微调
Peter的博客
11-27 736
然而还存在一个问题，仍然以目标识别任务为例，假设有一个已经训练好的模型A，其任务是识别（猫，狗，人，鸡，鸭，鹅）这6+1（背景）个类别的目标，当我们的需求发生变化，需要再增加一类目标“猪”时，如果采用重新训练一个新模型B的方式无疑会增加成本，而且造成了资源浪费——A和B的模型需求相似度高，我们为什么不可以利用到已经成熟的模型A呢？解决以上问题的方案就是fine-tune，微调！2. 对于较为复杂的任务，比如说对于目标识别任务，目标类别多起来的话，如果想提升模型的表现能力，需要大量的数据集。
ReuseAndDiffuse笔记
无名份的浪漫2018
10-31 189
Long video classification datasets：一些较长的视频，如VideoLT数据集，用MiniGPT-4等大模型，来先分类出哪些帧是可以剪出来用的，然后再理解这些帧。平常的stable-diffusion，是图片的解码器，这样的话帧间还是有差别的，文章在解码器中间也加入了Temp-Conv，以提高帧间的连贯性。对于Unet，每层都加入两个可训练的，包含时间维度的层，Temp-Conv是针对视频数据的三维卷积，Temp-Attn是时间维度上的注意力机制。
【AIGC调研系列】AI大模型结合迁移学习进行微调的应用
zachary的博客
04-07 891
AI大模型结合迁移学习进行微调的应用主要体现在通过预训练模型快速适应新任务，提高模型性能和准确性。迁移学习允许我们利用在其他任务上学到的知识来加速新任务的学习过程，从而减少对大量标注数据的依赖，提高训练效率[1][2][3]。在AI领域，特别是深度学习中，迁移学习已成为一种重要的技术，它通过微调（Fine-tuning）的方式，使得预训练模型能够在特定的新任务上取得更好的效果[4][5][6]。微调是迁移学习中的一个关键步骤，它涉及在预训练模型的基础上调整参数以适应新的任务或领域。
日日AIGC：战争与和平-多图预警
mate1357的博客
06-12 602
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
【元壤教育】AIGC人才工厂经济+AIGC大模型SEO经济：全员营销与企业增长总裁破局实战营
孔壹学院
06-11 535
在当今快速发展的商业环境中，人工智能生成内容（AIGC）已成为企业实现营销突破和增长的重要利器。为了帮助企业高管和市场营销专业人员掌握这一前沿技术，我们精心设计了《AIGC人才工厂+AIGC大模型SEO经济：全员营销与企业增长总裁破局实战营》。本课程不仅涵盖了AIGC的核心技术与应用，还深入探讨了如何通过AIGC实现全员营销，抢占流量红利，助力企业实现10倍销售增长。
[AIGC] 深入理解字典树：通过LeetCode题目学习
最新发布
程序员三木的博客
06-15 732
字典树是一种树形结构，用于保存关联数组，其中的键通常是字符串。与二叉查找树不同，字典树的关键字不是直接保存在节点中，而是由节点在树中的位置决定。一个节点的所有子节点路径代表的字符都不同。
AIGC简介
与时俱进，一专多能。
06-12 1148
AIGC代表了人工智能在内容创作领域的一项重大进步，通过自动生成高效、多样且个性化的内容来改变我们获取和消费信息的方式。技术的不断发展也带来了新的挑战，包括创意限制、质量控制以及伦理法律问题。尽管存在这些问题，AIGC的潜力巨大，预计将在未来继续推动各行各业的转型和进步。
AIGC实践｜用AI制作视频短片创作全流程
wincyfu的博客
06-13 1917
经过几轮沟通后，最终确定了分镜头，这样每个画面的效果基本就呈现在脑中了，这时候我们就可以根据GPT或者自己手绘的分镜头，在WHEE中生成画面内容了，在生图过程中同样也需要多多尝试不同的风格模型。通过Udio和ElevenLabs等AI工具，可以创作符合短片氛围的背景音乐和音效，并实现高质量的配音效果，提升观众的观影体验。分镜头设计这部分我们也直接借助GPT帮我们完成文字版的分镜表格，包括：镜号、画面描述、景别、运镜、旁白、字幕、音效、时长等，也可以简单的绘制一下分镜头的画面，方便后期生图更明确。
AIGC绘画设计基础:AI整活！万物皆可建筑设计
2401_84815950的博客
06-13 730
AIGC（AI Generated Content）技术，即人工智能生成内容的技术，具有非常广阔的发展前景。随着技术的不断进步，AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望：1、AIGC技术将使得内容创造过程更加自动化，包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率，降低成本。2、在游戏、电影和虚拟现实等领域，AIGC技术将能够创造更加丰富和沉浸式的体验，推动娱乐产业的创新。
大模型的现状与未来：探索腾讯元宝APP及其他AIGC产品
Pika
06-12 803
随着近日腾讯元宝APP的正式上线，国内大模型产品又添一员。近年来，随着人工智能技术的快速发展，AIGC（AI生成内容）产品逐渐成为技术与商业应用的热点。各大互联网厂商纷纷推出自己的大模型产品，以期在这片广阔的市场中占据一席之地。在这篇文章中，我们将探讨当前市场上主要的大模型产品、它们的应用场景、用户体验以及未来的发展方向。作为腾讯最新推出的大模型产品，元宝APP旨在为用户提供便捷的AI生成内容服务。从文本生成到图片识别，元宝APP集成了多种功能，帮助用户快速生成高质量的内容。
论文研读｜以真实图像为参考依据的AIGC检测
Meiling_up
06-13 663
这篇文章介绍几篇AIGC检测相关的工作。
探索国内大模型AIGC产品
double222222的博客
06-10 1918
从百度文心一言到腾讯元宝，国内的大模型AIGC产品已经在多个领域展示出强大的能力和创新潜力。不同产品有各自的优势和特色，满足了多样化的用户需求。展望未来，随着技术的不断进步和市场的持续拓展，AIGC产品将会在多模态融合、个性化定制、垂直应用等方面迎来更大的发展，进一步改变我们的内容创作和消费方式。在这场竞争激烈的AIGC市场中，谁将成为最终的赢家？我们拭目以待。希望这篇文章能够为您带来有价值的洞察，也期待它能在CSDN平台上吸引更多的流量和关注。如果您对AIGC产品有更多的体验或看法，欢迎在评论区分享。
vits-fast-fine-tuning
10-19
VITS（Variational Inference for Text-to-Speech）是一种端到端的文本到语音合成方法，它可以将文本转化为自然流畅的语音。VITS-Fast Fine-Tuning是对VITS模型进行快速微调的方法。 在传统的语音合成任务中，需要大量的语音对齐标注数据来训练模型。然而，这个过程非常耗时和昂贵。VITS-Fast Fine-Tuning的目标就是通过少量的标注数据来快速微调已有的VITS模型，以在新的任务上取得更好的性能。 VITS-Fast Fine-Tuning方法的关键在于使用变分推断（variational inference）来构建先验和后验分布。通过这个方法，我们可以使用其他大型语音合成数据集训练好的模型作为先验分布，然后使用少量目标任务的标注数据来估计后验分布。这样一来，我们就能够在新任务上快速微调VITS模型。 具体而言，VITS-Fast Fine-Tuning的过程分为两步。第一步是预训练，它使用大型语音数据集来训练VITS模型，并生成一个先验分布。第二步是微调，它使用目标任务的标注数据来调整VITS模型的参数，以获得更好的性能。由于预训练的先验分布已经包含了一定的知识，微调的过程可以更快速和高效。 总之，VITS-Fast Fine-Tuning是一种用于快速微调VITS模型的方法。它利用变分推断和预训练的先验分布，通过少量目标任务的标注数据来优化模型性能。这个方法可以加快语音合成模型的训练过程，降低训练的时间和成本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值