论文阅读：DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

最新推荐文章于 2024-10-01 20:12:06 发布
最新推荐文章于 2024-10-01 20:12:06 发布
阅读量580 收藏 1
点赞数 9
分类专栏： AIGC系列 文章标签： 论文阅读 AIGC stable diffusion text-to-image DreamBooth
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huzimu_/article/details/136834635
版权
本文提出DreamBooth方法，通过微调预训练的文本到图像模型，使其能在给定参考图片后生成特定物体。解决语言漂移和输出多样性问题的关键是引入先验保存损失，DreamBooth在量化评估和用户测试中表现出色。
摘要由CSDN通过智能技术生成

DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

论文链接
代码链接
DreamBooth
这篇文章提出了一个新的个性化文生图模型方法：DreamBooth。给定几张参考图片，然后微调预训练的文生图模型，使得模型具备生成这些图片对应的特定物体的能力。在推理阶段，只需输入包含该特定物体的场景提示词，即可生成处于指定场景的特定物体的图片。
Fine-tuning
论文中指出，文生图模型微调会面临两个威胁：language drift和reduced output diversity。为了解决这两个威胁，作者使用了一个先验保存损失项，即下面的损失函数公式（2）的第二项。该项对使用原始的文生图模型生成的样本微调模型的过程进行约束，以保持微调后的模型的先验知识不被遗忘，对应上面的图3下方的黄色模型的微调过程。公式中的第一项，将参考图片对应的知识嵌入到模型中，对应上面的图3上方的黄色模型的微调过程。
损失函数
DreamBooth在量化评估比较和用户偏好调查中均优于基准方法：
quantitative metric comparison and user preference

huzimu_
关注
专栏目录
定制化diffusion微调: DreamBooth原理
orangerfun的博客
07-28 578
论文：DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation 项目：DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation 1. 任务简介 当前的文生图模型已经可以根据给定的prompt生成高质量的图片。然后这些模型并不能模仿给定参考图片中物体的样子在不同情景中来生成新颖的图片（即参
Stable Diffusion Webui--安装与使用
Kevin__47的博客
05-31 1195
最近进行的课程汇报，学习了2023年的CVPR文章《》，因此尝试使用了几种方法对这篇文章的工作进行了一定的复现。本文主要介绍Stable Diffusion Web UI(webui)的安装以及使用webui运行DreamBooth生成图片。
【文生图】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
bikahuli的博客
12-21 4672
谷歌基于自家预训练扩散模型Imagen的主体细节保留的文生图编辑方法
DreamBooth 梦幻亭——用于主题驱动的文生图微调扩散模型
My name is Conmajia
04-10 1471
本文是 DreamBooth 官网首页的中文翻译，承蒙第一作者 Nataniel Ruiz 本人授权。‘‘这就像一部照相亭，但只要捕捉到主题，就能把它合成到你梦里能去的任何地方。”
DreamBooth 论文精读+通俗理解
qq_45670134的博客
10-02 3580
如今 AI 生成已经有很大的发展，但是这些模型都缺少能够通过一个给定的很小量的 reference set ，去模仿生成该 set 中所指定 subject 的图片。这种针对特定物体的生成，在此前绝大部分的生成模型都是做不到的。在这篇文章中，作者提出了一个新的方法 DreamBooth，用来个性化文生图 diffusion models。
【论文阅读】dreambooth
hei_hei_hei_的博客
06-07 1054
DreamBooth论文阅读
DreamBooth论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
06-19 2773
DreamBooth，Google Research出品。仅需要3-5张目标图片，通过prompt引导就可生成该目标变体。
#今日论文推荐# 谷歌推出DreamBooth扩散模型，可做到“以假乱真”，让指定现实物体在图像中以各种方式展现
w1hsxn的博客
09-01 504
在 AI 长期发展中，目前的文本生成图像模型有了显著提升，今年谷歌、OpenAI 等都接连推出了自己的图像生成模型，如 Imagen、Dall·E 2 等。这些模型能够依照给定的文本提示实现高质量和多样化的图像输出。
AIGC-＞基于扩散模型的图像生成算法 (课程大纲)
liguandong
06-25 299
课程特色是围绕着工作中AIGC文生图的具体用途来对文生图领域进行一个高屋建瓴式的分析，结合具体的应用，尤其是产业界的具体实用场景，中文化的场景来教学，该课程希望对入门AIGC尤其是文生图领域的学生，算法工程师，产品经理有很强的指导意义。Stable diffusion/comfyui/fooocus基本都是k-diffusion。Lora-scripts、sd-scripts和diffusers之间的关系。stable-diffusion-webui中的sd核心代码解析。介绍一下中文化的一些模型和应用。
StyleDrop: 谷歌关于图像风格提取的魔法
pku_langzi的博客
09-06 714
谷歌基于Muse这样一种transformer结构的文生图基座模型，利用adapter tuning + iterative training with feedback，可以从一张或者几张图像中提取指定风格并生成指定内容，效果惊艳！
AIGC 005-Dreambooth定制化生成，微调文本到图像的扩散模型！
小熊哥哥的博客
05-26 725
AIGC 005-Dreambooth定制化生成，微调文本到图像的扩散模型！
实践教程｜使用Stable Diffusion图像修复来生成自己的目标检测数据集
idol24的博客
09-13 1688
作者丨Rédigé par Gabriel Guerin来源丨AI公园深度学习模型需要大量的数据才能得到很好的结果，目标检测模型也是一样。要训练一个YOLOv5的模型来自动检测你最喜欢的玩具，你需要拍几千张你的玩具在不同上下文中的照片，对于每张图，你需要标注玩具在图中的位置。这样是非常耗时的。本文提出了使用图像分割和stable diffusion来自动生成目标检测数据集的方法。生成自定义数据...
在 Amazon SageMaker 上玩转 Stable Diffusion: 基于 Dreambooth 的模型微调
亚马逊云科技专栏
04-11 3656
本文将以 Stable Diffusion Quick Kit 为例，详细讲解如何利用 Dreambooth 对 Stable Diffusion 模型进行微调，包括基础的 Stable Diffusion 模型微调知识，Dreambooth 微调介绍，并且使用 Quick Kit 通过一个 demo 演示微调效果。01Stable Diffusion 模型微调目前 Stable Diffusio...
dreambooth:fine-tuning text-to-image diffusion models for subject-driven generation
liguandong
03-14 2378
首先对低分辨率图像进行微调，输入的图像和prompt，prompt包含一个独特的标识符，A [V] dog，为了防止overfiting和language drift，导致模型将类名dog与具体的实例联系起来，我们提出autogenous，class-specific prior preservation loss，它利用了嵌入在模型中的关于类的语义先验，并鼓励它产生与主体相同的不同实例。但是这类技术缺乏对特定目标的复现，主要原因是输出域的表现力是有限的，对目标再详细的描述也可能产生具有不同外观的实例。
#今日论文推荐# 谷歌DreamBooth扩散模型实现“以假乱真”，让指定实物在图像中以各种方式展现
w1hsxn的博客
09-02 845
从文本到图像的“个性化”扩散模型。
论文笔记：Anytime Continual Learning for Open Vocabulary Classification
weixin_47505105的博客
10-01 227
在开放词汇表图像分类中，随着时间的推移，模型需要不断学习新的标签，同时保留对旧标签的记忆。
Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读
weixin_51657614的博客
10-01 194
为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。ALPF生成器预测空间变化的低通滤波器，以衰减对象内的高频组件，减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界，而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。
车辆重识别（2021NIPS在图像合成方面，扩散模型打败了gans网络）论文阅读2024/10/01
最新发布
vegetabler的博客
10-01 263
向分类器中输入xt，发现与真实类别匹配概率小，计算对xt的梯度，让xt以一定的包含梯度的步幅进行移动，使得匹配概率增加。其实这里有点像之前卷积神经网络中参数w更新的原理，w也是在梯度方向上移动，以此来使得loss值最小。但是这两种算法不是简单的对xt进行处理，①是对预测的均值μ进行处理，让均值μ在梯度方向上移动。另外，s可以叫做学习率，主要是控制在梯度方向上移动的步幅，和之前卷积神经网络中的w更新公式中的学习率差不多。2，那么具体来说，如何根据当前时刻xt的梯度，来调整xt？BigGAN残差块是什么意思？
9、论文阅读：无监督的感知驱动深水下图像增强
DQHNB的博客
09-27 852
当前的 UIE 算法主要通过最小化增强图像和地面真实图像之间的重建损失，在合成数据集或具有伪标签的数据集上训练深度神经网络（DNN）。但是，合成和真实的水下图像有差距，在合成图像上训练的网络在真实环境下不一定有好的表现。并且使用L1和L2损失函数，往往忽视人类感知的重要性，（L1和L2损失只关注像素级别的差异，没有考虑人类视觉系统的感知特性。人类的眼睛对边缘和纹理的变化敏感，但是对颜色变化相对不敏感。为此，可以使用感知损失或者风格迁移损失 ​），导致增强的图片不尽人意。因此，本论文提出了一个。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值