论文阅读：DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

最新推荐文章于 2024-05-13 16:13:47 发布
最新推荐文章于 2024-05-13 16:13:47 发布
阅读量468 收藏 1
点赞数 9
分类专栏： AIGC系列 文章标签： 论文阅读 AIGC stable diffusion text-to-image DreamBooth
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huzimu_/article/details/136834635
版权

DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

论文链接
代码链接
DreamBooth
这篇文章提出了一个新的个性化文生图模型方法：DreamBooth。给定几张参考图片，然后微调预训练的文生图模型，使得模型具备生成这些图片对应的特定物体的能力。在推理阶段，只需输入包含该特定物体的场景提示词，即可生成处于指定场景的特定物体的图片。
Fine-tuning
论文中指出，文生图模型微调会面临两个威胁：language drift和reduced output diversity。为了解决这两个威胁，作者使用了一个先验保存损失项，即下面的损失函数公式（2）的第二项。该项对使用原始的文生图模型生成的样本微调模型的过程进行约束，以保持微调后的模型的先验知识不被遗忘，对应上面的图3下方的黄色模型的微调过程。公式中的第一项，将参考图片对应的知识嵌入到模型中，对应上面的图3上方的黄色模型的微调过程。
损失函数
DreamBooth在量化评估比较和用户偏好调查中均优于基准方法：
quantitative metric comparison and user preference

huzimu_
关注
  • 9
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
KoGPT2-FineTuning：:fire:韩国GPT-2，带KoGPT2 FineTuning。 가가사데이터
02-03
KoGPT2-FineTuning SKT-AI提供了20GB的免费培训，还提供了的培训。 数据，重量，数据，重量，质量，数据，数据和数据的质量。 。가장르별학습다。 또 한 Colab 에 서 는 원 활 한 학 습 을 위 해 서谷歌驱动와 을 연 동 했 습 니 다 。 Google云端硬盘Dropbbox的照片，Google云端硬盘的照片。 이와 版本2，数据集，CSV，数据集，版本2，代码集KoGPT2-FineTuning， ，。 아래에서를를를。있습니있습니있습니있습니。 。리는이외에도다양한젝트를로것입니것입니다。 样品 数据结构 重量 类型 歌词 1100.0 발라
bert-stable-fine-tuning:关于微调BERT的稳定性
03-21
关于微调BERT的稳定性：误解，解释和强大的基准 Marius Mosbach，Maksym Andriushchenko，Dietrich Klakow 萨尔大学和EPFL 该存储库包含有关“。它是（v2.5.1）的分支。 抽象的 微调经过预训练的基于变压器的语言模型，例如BERT，已成为控制各种NLP基准排行榜的一种普遍做法。尽管微调模型具有强大的经验性能，微调还是一个不稳定的过程：使用多个随机种子训练同一模型可能会导致任务性能产生较大差异。先前的文献（Devlin等人，2019; Lee等人，2020; Dodge等人，2020）确定了观察到的不稳定的两个潜在原因：灾难性的遗忘和较小的微调数据集。在本文中，我们证明了这两种假设都无法解释微调的不稳定性。我们分析了GLUE基准测试的三个常用数据集上的BERT，RoBERTa和ALBERT，并表明观察到的不稳定性是由导致梯度消失的优化困
openai/chatgpt微调/fine-tuning/测试用/投喂资源
03-06
整理了chatgpt微调所需要的测试资源数据，按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。 微调完毕后可以 -p 回答结果。 其中包含三四百条数据。 适合测试openai自定义模型的人群使用。
微调fine-tuning.pdf
06-14
微调fine-tuning.pdf微调fine-tuning.pdf微调fine-tuning.pdf微调fine-tuning.pdf
DreamBooth论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
06-19 2023
DreamBooth，Google Research出品。仅需要3-5张目标图片，通过prompt引导就可生成该目标变体。
DreamBooth 论文精读+通俗理解
qq_45670134的博客
10-02 1315
如今 AI 生成已经有很大的发展，但是这些模型都缺少能够通过一个给定的很小量的 reference set ，去模仿生成该 set 中所指定 subject 的图片。这种针对特定物体的生成，在此前绝大部分的生成模型都是做不到的。在这篇文章中，作者提出了一个新的方法 DreamBooth，用来个性化文生图 diffusion models。
【论文阅读】dreambooth
hei_hei_hei_的博客
06-07 972
DreamBooth论文阅读
【文生图】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
bikahuli的博客
12-21 2833
谷歌基于自家预训练扩散模型Imagen的主体细节保留的文生图编辑方法
#今日论文推荐# 谷歌推出DreamBooth扩散模型，可做到“以假乱真”，让指定现实物体在图像中以各种方式展现
w1hsxn的博客
09-01 437
在 AI 长期发展中，目前的文本生成图像模型有了显著提升，今年谷歌、OpenAI 等都接连推出了自己的图像生成模型，如 Imagen、Dall·E 2 等。这些模型能够依照给定的文本提示实现高质量和多样化的图像输出。
算法训练-使用JAX训练CLIP算法-支持fine-tuning-优质项目实战.zip
04-08
算法训练_使用JAX训练CLIP算法_支持fine-tuning_优质项目实战
实践教程｜使用Stable Diffusion图像修复来生成自己的目标检测数据集
idol24的博客
09-13 1341
作者丨Rédigé par Gabriel Guerin来源丨AI公园深度学习模型需要大量的数据才能得到很好的结果，目标检测模型也是一样。要训练一个YOLOv5的模型来自动检测你最喜欢的玩具，你需要拍几千张你的玩具在不同上下文中的照片，对于每张图，你需要标注玩具在图中的位置。这样是非常耗时的。本文提出了使用图像分割和stable diffusion来自动生成目标检测数据集的方法。生成自定义数据...
DreamBooth 梦幻亭——用于主题驱动的文生图微调扩散模型
My name is Conmajia
04-10 1344
本文是 DreamBooth 官网首页的中文翻译，承蒙第一作者 Nataniel Ruiz 本人授权。‘‘这就像一部照相亭，但只要捕捉到主题，就能把它合成到你梦里能去的任何地方。”
在 Amazon SageMaker 上玩转 Stable Diffusion: 基于 Dreambooth 的模型微调
亚马逊云科技专栏
04-11 3263
本文将以 Stable Diffusion Quick Kit 为例，详细讲解如何利用 Dreambooth 对 Stable Diffusion 模型进行微调，包括基础的 Stable Diffusion 模型微调知识，Dreambooth 微调介绍，并且使用 Quick Kit 通过一个 demo 演示微调效果。01Stable Diffusion 模型微调目前 Stable Diffusio...
dreambooth:fine-tuning text-to-image diffusion models for subject-driven generation
liguandong
03-14 2059
首先对低分辨率图像进行微调，输入的图像和prompt，prompt包含一个独特的标识符，A [V] dog，为了防止overfiting和language drift，导致模型将类名dog与具体的实例联系起来，我们提出autogenous，class-specific prior preservation loss，它利用了嵌入在模型中的关于类的语义先验，并鼓励它产生与主体相同的不同实例。但是这类技术缺乏对特定目标的复现，主要原因是输出域的表现力是有限的，对目标再详细的描述也可能产生具有不同外观的实例。
#今日论文推荐# 谷歌DreamBooth扩散模型实现“以假乱真”，让指定实物在图像中以各种方式展现
w1hsxn的博客
09-02 793
从文本到图像的“个性化”扩散模型。
论文阅读：The Unreasonable Ineffectiveness of the Deeper Layers 层剪枝与模型嫁接的“双生花”
温染的笔记
05-10 738
作者实证研究了针对流行的开放式预训练 LLM 系列的简单层修剪策略，发现在不同的 QA 基准上，直到去掉一大部分（最多一半）层（Transformer 架构）后，性能的下降才会降到最低。为了修剪这些模型，作者通过考虑各层之间的相似性来确定要修剪的最佳层；然后，为了“治愈”损伤，进行了少量的微调。特别是 PEFT 方法，尤其是量化和低秩适配器（QLoRA），这样每个实验都可以在单张 A100 GPU 上完成。
【论文笔记】利用扩散模型DDPM做变化检测change detection
m0_61899108的博客
05-12 986
去噪扩散模型DDPM去年开始在各种视觉任务取得惊人的效果，变化检测领域也不例外，本文介绍两篇关于如何使用扩散模型实现变化检测的论文。第一篇做法较为自然，先利用遥感数据预训练DDPM，然后将预训练好的网络当作变化检测任务的特征提取器；第二篇则更有意思，不再进行像素分类，而是直接利用扩散模型生成变化图。
海洋环境保护论文阅读记录
最新发布
qq_36980284的博客
05-13 720
海洋环境保护 论文1：Critical role of wave–seabed interactions in the extensive erosion of Yellow River estuarine sediments 波浪-海床相互作用在黄河河口广泛侵中的关键作用 estuatine 河口的，港湾的 erodibility侵蚀度 sediment erodibility 沉积侵蚀度 erosion侵蚀 结合实验室的侵蚀试验 turbidity 浊度、浑浊度 浑浊度急剧从50FTU增加到600-80
ERROR: Could not find a version that satisfies the requirement tensorflow-addons (from tuning) ERROR: No matching distribution found for tensorflow-addons
07-10
这个错误提示表明无法找到满足 `tuning` 对 `tensorflow-addons` 的要求的版本，并且没有找到符合条件的发行版本。 `tensorflow-addons` 是一个 TensorFlow 的扩展库，提供了一些额外的功能和实用工具。首先，请确保你已经安装了 TensorFlow，并且版本与 `tensorflow-addons` 兼容。然后，你可以尝试使用以下命令来安装 `tensorflow-addons`： ```shell pip install tensorflow-addons ``` 如果仍然无法找到满足要求的版本，你可以尝试更新 pip 版本： ```shell pip install --upgrade pip ``` 然后再次尝试安装 `tensorflow-addons`。如果问题仍然存在，可能是因为 `tensorflow-addons` 目前不支持你所使用的 Python 或 TensorFlow 版本。在这种情况下，你可以查看 `tensorflow-addons` 的文档或者提交一个 issue 以获取更多支持和解决方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值