DreamBooth 梦幻亭——用于主题驱动的文生图微调扩散模型

已于 2023-04-13 07:32:32 修改
阅读量1.5k 收藏 8
点赞数 1
文章标签： 人工智能 自然语言处理 语言模型 AI作画
于 2023-04-10 17:02:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/conmajia/article/details/130053628
版权

© 2022 Ruiz, Li, Jampani, Pritch, Rubinstein, Aberman (Google Research)
© 2023 Conmajia

简介

本文是 DreamBooth 官网首页的中文翻译。
本文已获得 Nataniel Ruiz 本人授权。

DreamBooth 主要内容基于 CVPR 论文 DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation（2208.12242）。

‘ ‘ `` ‘‘ 这就像一部照相亭，但只要捕捉到主题，就能把它合成到你梦里能去的任何地方。 " " "

摘要 大型文本生成图像模型在 AI 的发展中取得了显著的飞跃，可以从给定的文本提示中合成高质量和多样化的图

最低0.47元/天 解锁文章
Conmajia
关注
图文交互模型的安全性问题探讨（含后门攻击）
05-07
本文将深入探讨视觉语言模型的安全性问题，并特别关注其中一种威胁——后门攻击。 #### 二、AIGC的被动检测与溯源 ##### 2.1 被动检测方法综述 近年来，研究人员提出了多种用于检测由AI生成内容（Artificial ...
【文生图】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
bikahuli的博客
12-21 4940
谷歌基于自家预训练扩散模型Imagen的主体细节保留的文生图编辑方法
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
qq_43800752的博客
06-07 1958
大型文本到图像模型在AI的演化中取得了显著的飞跃，实现了从给定文本提示中合成高质量、多样化的图像。然而，这些模型缺乏模仿给定参考集中主题外观并在不同环境中合成新的表现形式的能力。在这项工作中，我们提出了一种新的方法，用于“个性化”文本到图像扩散模型。只需输入主题的几张图像，我们对预训练的文本到图像模型进行微调，使其学习将唯一标识符与特定主题绑定。一旦主题嵌入到模型的输出域中，该唯一标识符可以用于在不同场景中合成主题的新颖逼真的图像。
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation——CVPR2023：论文笔记
qq_53323118的博客
08-06 819
用于“个性化”文本到图像的扩散模型，即让这些模型适应特定用户的图像生成需求。目标是扩展模型的语言-视觉词典，使得新的词汇能与用户希望生成的特定主体绑定。一旦这个新的词典被嵌入到模型中，它就可以使用这些词汇来合成该主体的新颖、逼真的照片，这些照片可以放置在不同的场景中，同时保留关键识别特征。这种效果类似于一个“神奇的照片亭”——只需拍摄几张主题的照片，照片亭就能根据简单直观的文本提示生成该主体在不同条件和场景下的照片。
dreambooth:fine-tuning text-to-image diffusion models for subject-driven generation
liguandong
03-14 2463
首先对低分辨率图像进行微调，输入的图像和prompt，prompt包含一个独特的标识符，A [V] dog，为了防止overfiting和language drift，导致模型将类名dog与具体的实例联系起来，我们提出autogenous，class-specific prior preservation loss，它利用了嵌入在模型中的关于类的语义先验，并鼓励它产生与主体相同的不同实例。但是这类技术缺乏对特定目标的复现，主要原因是输出域的表现力是有限的，对目标再详细的描述也可能产生具有不同外观的实例。
（2023|CVPR，扩散，主体标识符，先验保存损失）DreamBooth：微调文本到图像的扩散模型以实现主题驱动的生成
qq_44681809的博客
11-12 638
本文使用输入主体的一些图像对预训练的文本到图像模型进行微调，使其学会将唯一标识符与特定主体关联起来，唯一标识符可以用于在不同场景中合成主体的新逼真图像。使用先验保存损失，来鼓励多样性并抵消语言漂移
DreamBooth Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
weixin_44966641的博客
03-24 939
DreamBooth 是 subject-driven 可控生成方向的一篇重要工作，后面各种 LoRA 的训练基本都使用 DreamBooth 的训练方法。
AIGC行业专题报告：文生图到文生视频的技术框架与商业化分析
最新发布
10-31
通过对GAN、自回归模型和扩散模型这三大主要技术路径的比较，指出扩散模型为当前主流生成模型，因其在生成图像的质量、参数量、生成速度和训练成本等方面均表现出色。文中还探讨了不同公司在文生图领域的具体案例和...
大模型部署在C# Winform中使用文生图Stable Diffusion XL 模型
05-22
以下将详细讲解如何在Windows桌面应用中部署和利用此类模型进行文本生成图像（文生图）操作。 首先，了解Stable Diffusion XL模型。这是一个基于深度学习的先进模型，专门用于生成高质量的图像，特别是从文本描述或...
通义万相实现android上的文生图
07-09
通义万相实现android上的文生图
ai绘画软件桌面端，用于文生图，用于设计自媒体
08-08
ai绘画软件桌面端
【文章系列解读】AI绘图必读模型：Derambooth和Textual Inversion
JackCrum的博客
06-28 1594
总体而言，文章想要实现的效果是输入（目前看是单物体的），通过文本“a [v] [class]”，对模型进行（例如图片上坐上，输入是若干张同一只狗的图片，以及a [v] [dog]）。为了避免模型过拟合在输入的狗上，文章引入了。保留损失意指，先通过预训练模型生成若干张狗这一类的图片。
【CVPR 2023的AIGC应用汇总二】可控文生图，基于diffusion扩散模型/GAN生成对抗方法...
idol24的博客
04-25 1879
【CVPR 2023的AIGC应用汇总一】图像转换/翻译，基于GAN生成对抗/diffusion扩散模型方法1、DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation大型文本生成图像模型已取得显著进展，有能力从给定的文本提示中生成高质量和多样化的图像。然而，给定目标个体的一些参考图片（...
DreamBooth论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
06-19 2851
DreamBooth，Google Research出品。仅需要3-5张目标图片，通过prompt引导就可生成该目标变体。
DreamBooth 论文精读+通俗理解
qq_45670134的博客
10-02 4072
如今 AI 生成已经有很大的发展，但是这些模型都缺少能够通过一个给定的很小量的 reference set ，去模仿生成该 set 中所指定 subject 的图片。这种针对特定物体的生成，在此前绝大部分的生成模型都是做不到的。在这篇文章中，作者提出了一个新的方法 DreamBooth，用来个性化文生图 diffusion models。
Text-to-3D Generation
Iron_lyk Blog
03-27 4435
文本到3D图像生成论文串读
#今日论文推荐# 谷歌推出DreamBooth扩散模型，可做到“以假乱真”，让指定现实物体在图像中以各种方式展现
w1hsxn的博客
09-01 515
在 AI 长期发展中，目前的文本生成图像模型有了显著提升，今年谷歌、OpenAI 等都接连推出了自己的图像生成模型，如 Imagen、Dall·E 2 等。这些模型能够依照给定的文本提示实现高质量和多样化的图像输出。
Dreambooth工作原理
山鬼谣的专栏
10-19 2713
Dreambooth是类似LoRA 模型。可以对照片的主体、风格、样式，进行微调的模型。不过据说没有LoRA模型好，LoRA可是直接对交叉注意力层进行训练调整的。
扩散模型的图生图和文生图
11-13
根据引用，扩散模型是一种超分辨率模型，可以将低分辨率的图像转换为高分辨率的图像。其中，Small-to-Medium（STM）超分模型以64x64的图像为输入，超级解析生成256x256的图像；Medium-to-Large（MTL）超分模型以256x256的图像为输入，超级解析生成1024x1024的图像。扩散模型的图生图和文生图的具体实现方式并未在引用中提及，但可以推测扩散模型是通过学习低分辨率图像和高分辨率图像之间的映射关系，从而实现图像的超分辨率重建。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Conmajia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值