深入解读：如何解决微调扩散模型时微调数据集和训练数据集之间的差距过大问题？

已于 2024-07-07 00:10:38 修改
阅读量532 收藏 8
点赞数 13
分类专栏： Diffusion Models与深度学习 文章标签： 深度学习 人工智能 扩散模型 AIGC 计算机视觉
于 2024-07-04 21:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/140156921
版权

Diffusion Models专栏文章汇总：入门与实战

前言：在微调扩散模型的时候经常会遇到微调数据集和训练数据集之间的差距过大，导致训练效果很差。在图像生成任务中并不明显，但是在视频生成任务中这个问题非常突出。这篇博客深入解读如何解决微调扩散模型时微调数据集和训练数据集之间的差距过大问题？

目录

图片生成中的微调数据集和训练数据集之间的差距过大问题

视频扩散模型

解决方案一

解决方案二

图片生成中的微调数据集和训练数据集之间的差距过大问题

其实在微调图片生成模型中这个问题并不明显，例如微调一个古风模型，在写实风格的基模上同样可以取得不错的成果，数据怼进去训也不会有太多资源上的压力。

视频扩散模型

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
  • 13
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
解读电影级视频生成模型 MovieFactory
沉迷单车的追风少年
03-07 273
MovieFactory是第一个全自动电影生成模型，可以根据用户输入的文本信息自动扩写剧本，并生成电影级视频。其中针对预训练的图像生成模型与视频模型之间的gap提出了微调方法非常值得借鉴。这篇博客详细解读一下这篇论文《MovieFactory: Automatic Movie Creation from Text using Large Generative Models for Language and Images》
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
AGI之MFM：《多模态基础模型：从专家到通用助手》翻译与解读之统一的视觉模型、加持LLMs的大型多模态模型
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-06 2759
​AGI之MFM：《Multimodal Foundation Models: From Specialists to General-Purpose Assistants多模态基础模型：从专家到通用助手》翻译与解读之统一的视觉模型、加持LLMs的大型多模态模型 目录 4、Unified Vision Models统一的视觉模型 4.1、Overview概述 NLP的发展：2018年之前(不同的NLP任务使用不同的任务特定模型解决，如翻译/语义解析/摘要生成)→2018年之后(GPT-style
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-27 2927
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
【扩散模型】【网络结构搜索】神经网络扩散：Neural Network Diffusion（论文解读）
qq_45752541的博客
02-23 2310
扩散模型在图像和视频生成方面取得了显著的成功。这项工作证明了，扩散模型也可以生成高性能的神经网络参数利用一个自动编码器和一个标准的潜在扩散模型。自动编码器提取训练后的网络参数子集的潜在表示。然后训练一个扩散模型，从随机噪声中合成这些潜在的参数表示。然后，它生成新的表示，通过自动编码器的解码器，其输出准备用作网络参数的新子集。在不同的架构和数据集上，我们的扩散过程始终以最小的额外成本生成与训练网络相比的性能相当或改进的模型。值得注意的是，我们根据经验发现，生成的模型与训练后的网络表现不同。
DexCap——斯坦福李飞飞团队泡茶机器人：更好数据收集系统的原理解析、源码剖析
结构之法 算法之道
06-03 3635
2023年7月，我司组建大模型项目开发团队，从一开始的论文审稿，演变成目前的两大产品线论文方面，除了论文审稿之外，目前正在逐一开发论文翻译、论文对话、论文idea提炼、论文修订/润色/语法纠错、论文检索机器人方面，我们1月份开始攻机器人、Q1组建队伍、5月份成功复现UMI和DexCap后，本月(即6月)总算要开始为工厂赋能了(目前已经谈好三个工厂的合作意向)
农业大模型：关键技术、应用分析与发展方向
python122_的博客
05-31 1729
结论/展望］
AGI之MFM：《Multimodal Foundation Models: From Specialists to General-Purpose Assistants多模态基础模型：从专家到通用助
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-06 3565
​ AGI之MFM：《Multimodal Foundation Models: From Specialists to General-Purpose Assistants多模态基础模型：从专家到通用助手》翻译与解读之简介/视觉理解 目录 相关文章 《Multimodal Foundation Models: From Specialists to General-Purpose Assistants多模态基础模型：从专家到通用助手》翻译与解读 Abstract 1 Int
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 18万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
文本到语音生成库：+1100种语言的预训练模型 用于任何语言训练新模型和微调现有模型的工具 用于数据集分析和管理的实用程序
05-11
这些模型在处理大量数据时表现出色，能够学习到丰富的语言特征，生成的语音更加接近人类。 在实际应用中，TTS技术广泛应用于智能助手、有声读物、无障碍设备、电话自动服务等领域。通过TTS-dev这个库，开发者可以...
Stable Diffusion：使用自己的数据集微调训练LoRA模型
08-20
本文使用自己数据集微调训练的LoRA模型
基于CodeBert预训练模型，微调后直接对目标数据集进行测试.zip
01-07
我们使用的数据集来自 CodeSearchNet，我们按如下方式筛选数据集： 删除无法将代码解析为抽象语法树的示例。 删除文档 #tokens 为 或 >256 的示例 删除文档包含特殊标记的示例（例如<img ...> 或 https：...） 删除...
Python基于预训练大模型ernie微调完成的阅读理解任务源代码+数据集
04-26
本资源包含了一个使用Python编程语言，并基于预训练大模型ERNIE（Enhanced Representation through kNowledge Integration）进行微调的阅读理解解决方案。ERNIE是由百度公司开发的一种深度学习模型，其主要特点是...
医疗大语言模型数据集微调模型对话结果样例.txt
04-15
大语言模型数据集，适合学习、测试使用
基于深度学习的文本框检测
weixin_42605076的博客
07-01 788
基于深度学习的文本框检测（Text Box Detection）是一项重要的计算机视觉任务，旨在从图像中自动检测和定位文本区域。它在光学字符识别（OCR）、自动文档处理、交通标志识别等领域具有广泛的应用。
深度学习之交叉验证
AndrewPerfect的博客
07-02 401
交叉验证（Cross-Validation）是一种用于评估和验证机器学习模型性能的技术，尤其是在数据量有限的情况下。它通过将数据集分成多个子集，反复训练和测试模型，以更稳定和可靠地估计模型的泛化能力。
阶段总结——基于深度学习的三叶青图像识别
最新发布
2301_78630677的博客
07-05 678
阶段总结——基于深度学习的三叶青图像识别。
论文辅导 | 基于多尺度分解的LSTM⁃ARIMA锂电池寿命预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
07-02 409
论文辅导 | 基于多尺度分解的LSTM⁃ARIMA锂电池寿命预测

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值