Multi Diffusion: Fusing Diffusion Paths for Controlled Image Generation——【论文笔记】

最新推荐文章于 2025-02-17 16:00:00 发布
最新推荐文章于 2025-02-17 16:00:00 发布
阅读量1.9k 收藏 25
点赞数 31
分类专栏： 论文笔记 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45791526/article/details/135325493
版权

本文发表于ICML 2023

论文官网：MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation

 

一、Intorduction

        文本到图像生成模型已经具有合成高质量和多样化图像的能力，但是由于难以为用户提供对生成内容的直观控制，因此将文本到图像模型部署到现实世界的应用程序仍然具有挑战性。目前实现对扩散模型实现可控的图像生成主要有两种方式：1.从头开始训练模型或针对手头的任务微调给定的扩散模型；2.重用预先训练好的模型，并添加一些控制生成功能。

        本文提出了一种新的方法：MultiDiffusion，这是一个新的统一框架，可以显着提高将预训练扩散模型适应受控图像生成的灵活性。MultiDiffusion背后的基本思想是定义一个新的生成过程，该过程由几个参考扩散生成过程组成，这些参考扩散生成过程通过一组共享参数或约束绑定在一起。更详细地，将参考扩散模型应用于所生成的图像中的不同区域，预测每个区域的去噪采样步骤。反过来，MultiDiffusion采用全局去噪采样步骤，通过最小二乘最优解协调所有这些不同的步骤。

通过MultiDiffusion，我们能够将参考预训练的文本到图像应用于不同的应用，包括以

最低0.47元/天 解锁文章
可控扩散生成
liguandong
11-05 116
通俗来讲，MultiDiffusion可以理解为Repaint的多Mask版本，它在每步中拼接多个区域生成的图像（根据叠加多少次来决定权重），然后寄希望于去噪过程的鲁棒性来消除边界处的不和谐。显然，因为不同区域核心处仍然互不干扰，最终生成的图像风格差异也难以避免。该方法的提出来源于两个重要的观察，其一，输入的文本 token 所对应的 Cross-Attention 具有很强的语义性（也是P2P所观察到的）；有趣的是，作者探索并对比了两种不同的指导方式：其一，在推理的前向过程中施加区域限制，也即前向指导。
八）Stable Diffussion使用教程：MultiDiffusion
jimson_zhu的博客
09-10 721
重叠区默认是分块宽高的一半，即不超过 80（除非出现明显的接缝再适当增加）。这样有个好处是，每次绘制小区块时，至少有一半的区域已经绘制完成了，剩下的未绘制区域会参考已绘制区域进行绘制，确保放大后的内容在绘制时会有所关联。我们来看出图结果，可以看出，启用diffusion和vae之后，出图效果确实提升很多，画面变得清晰细腻不少，花瓣和人物细节都丰富了。重叠区越大，绘制块数会增加、绘制速度越慢、但放大后的边界越平滑。Tiled 在绘制区块的时候，并不是每次移动一个完整区块的距离的，而是仅仅移动重叠像素的距离。
【SD教程】Multi Diffusion、ControlNet Tile模型
m0_71746299的博客
02-17 603
大家好！这里是十二月！让我们开始今天的学习吧！芜湖！起飞！今天我们学习的是Multi Diffusion、ControlNet Tile模型感觉自己是在学习英语。。。一、Multi Diffusion插件的使用Multi Diffusion是upscale插件的分块处理图像的进一步升级upscale相比于Multi Diffusion可控性差且绘制速度较慢Multi Diffusion的优势是效果好，效率高，可控性强，有效降低对显卡的消耗介绍一下参数设置一般情况下维持默认设置就好了。
探索未来科技：MultiDiffusion - 深度学习中的多模态扩散模型
gitblog_00062的博客
04-12 441
探索未来科技：MultiDiffusion - 深度学习中的多模态扩散模型 去发现同类优质开源项目:https://gitcode.com/ 在人工智能领域，深度学习持续推动着科技进步，尤其是在图像生成、自然语言处理等方面。而如今，一个名为的开源项目，正试图将这一趋势带入多模态数据处理的新境界。本文将深入探讨该项目的技术特性、应用场景及其独特优势，以鼓励更多的开发者和研究人员加入探索。 项目简介 ...
NeurIPS 2023 | SFU&字节提出MVDiffusion：高质量多视角图像生成！
阿木寺的博客
10-03 3624
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【扩散模型和Transformer】交流群在CVer微信公众号后台回复：MVDiffusion，可以下载本论文pdf和代码，学起来！转载自：新智元 | 编辑：LRS 好困【导读】不怕多视角图像变化大，MVDiffusion整合图片全局意识，内容一致性更高！逼真的图像生成在虚拟现实、增强现实、视频游戏和电影制作等领...
Integrated-Design-Diffusion-Model 使用教程
gitblog_00540的博客
08-18 297
Integrated-Design-Diffusion-Model 使用教程 Integrated-Design-Diffusion-ModelIDDM (Industrial, landscape, animate...), support DDPM, DDIM, webui and multi-GPU distributed training. Pytorch实现，生成模型，扩散模型，分布式...
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3487
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
Ai作画区域控制的几种方法
liangwqi的博客
06-03 1336
介绍了几种图片布局控制的方法，详细介绍了常用的3种方法的算法原理和实现。 对图布局思路，无非就是单图单步生成，还是多步生成，还是多步+整体融合风格，三种思路。目前看来，每种方法都各有优缺点，现在的图结构布置，其实也还没有完全得到解决，要想得到比较好的效果，还是要打组合拳。 1.controlnet segment可以比较好的控制单张图的结构，但对每个部分物体较详细细节控制不太好 2.mixture diffusion、multdiffusion可以较好的控制局部细节，整体风格一致性保持也就好，但是还是
Forge详细教程
HongYingClub-CSDN
05-11 1295
Forge是一个以太坊开发框架。您可以使用它来创建Solidity项目，管理依赖关系，运行测试等等。它受Dapp启发，与之有一个重要的相似之处，即测试是用Solidity编写的。这与迄今为止的其他以太坊开发框架不同。它是用Rust编写的，非常快速。这是一个初学者指南。我将介绍如何创建项目，管理依赖项和编写测试。预期的受众是熟悉Solidity并希望了解如何使用Forge进行开发的人。
使用预先训练的扩散模型进行图像合成
冷冻工厂
07-19 350
更具体地说，给定图像的一般描述（例如，封面图像中的客厅），我们希望通过文本提示指定的一系列元素出现在特定位置（例如，中心的红色沙发，左边是室内植物，右上角是一幅画）。论文中提出的方法更通用，并且允许其他应用，例如生成全景图像，但我将在这里限制为使用基于区域的文本提示的图像合成的情况。与每个提示关联的区域是通过与图像尺寸相同的二进制掩码指定的。这通常由神经网络完成，该神经网络在每个步骤 t 预测步骤 t-1 的噪声图像，该图像不仅以步骤 t 的噪声图像为条件，而且还以描述其尝试重建的图像的文本提示为条件。
改进DiT！清华大学提出Inf-DiT：超高分辨图像无限生成
阿木寺的博客
06-06 1083
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：极市平台 |作者：科技猛兽导读综合实验表明，Inf-DiT 在生成超高分辨率...
使用stable diffussion插件StableSR将图片高清放大
BBM的博客
01-20 2949
使用stable diffussion插件StableSR将图片高清放大
【MVDiffusion】完美复刻场景，可多视图设计的生成式模型
零碎@流年絮语 的博客
10-07 1454
对于目标图像分支，将一个由零值像素组成的黑色图像与一个由零组成的掩码连接在一起，然后使用相同的零卷积操作来降采样图像，使其与UNet块的特征图大小相匹配。这个过程的目的与条件图像分支类似，根据掩码的值来执行不同的生成任务，其中掩码为1时生成条件图像，为0时生成目标图像。在目标图像的UNet分支中，我们将一个由零值像素组成的黑色图像与一个由零组成的掩码连接在一起作为输入，因此需要修复模型基于文本条件和与条件图像的对应关系生成全新的图像。一样，它以两个连续的关键帧图像作为附加条件，生成中间的图像。
Lumière：开创性的视频生成模型及其应用
人工智能前沿分享
07-02 1212
视频内容创造领域迎来了突破性进展，但视频生成模型由于运动引入的复杂性而面临更多挑战。这些挑战主要源自运动的引入所带来的复杂性。是视频生成中的关键要素，模型必须确保视频中的运动在时间上是连贯和平滑的，避免出现不自然的跳跃或断裂。也至关重要，因为视频的每一帧都需要与前后帧在空间布局上保持一致性。也是一个重大挑战，视频数据的高维度要求大量的计算力和内存，这限制了模型的规模和复杂度。巨大，因为只有通过大量的训练样本，模型才能学习到生成逼真视频所需的丰富特征和模式。
小白设计师福音：Stable Diffusion 16款插件测评，好用不？推荐吗？
weixin_72959097的博客
01-24 1929
随着 Stable Diffusion 的不断进化，越来越多的开发者加入到插件开发的行列中。大家都知道网上虽然教程多，但非常碎片，一个个学习和查阅真的非常耗时，感觉每天都在烧脑。如果你是SD小白或者是小懒猫，又想快速上手使用 Stable Diffusion 插件，那么这篇文章就非常适合你了！因为这是以设计师日常应用的角度出发，从推荐指数、易上手程度、使用频率三个维度来测评。下面会附赠下载地址！希望这篇文章能够帮助大家更好地了解 Stable Diffusion 插件。⭐️⭐️⭐️⭐️⭐️。
【Stable Diffusion】 超大尺寸绘制、分区控制，详解Tiled Diffusion & VAE插件功能
2401_85688943的博客
11-21 2327
今天，我们将向您介绍一款令人兴奋的AI工具——Tiled Diffusion & VAE插件。这是一款基于Stable Diffusion技术的创新应用，旨在为您提供超大尺寸绘制和分区控制的便捷体验。无论您是AI绘画的新手还是专业人士，这个工具都能为您带来极大的便利。Tiled Diffusion & VAE插件的集成，使得用户可以轻松地使用这一工具进行图像的转换处理。这个工具利用了Stable Diffusion的最新算法，能够实现快速、准确的转换效果，大大提高了工作效率。
Scene Diffusion: Continuous Scenario Generation for LiDAR Simulation 论文pdf
最新发布
03-29
### 关于Scene Diffusion连续场景生成用于LiDAR模拟的研究 目前，关于 **Scene Diffusion Continuous Scenario Generation for LiDAR Simulation** 的具体研究尚未广泛公开提及。然而，可以推测该主题可能涉及扩散模型（Diffusion Models）在激光雷达（LiDAR）数据生成中的应用。这种技术的核心在于通过生成对抗网络（GAN）、变分自编码器（VAE）或者更先进的扩散模型来合成逼真的三维点云数据。 #### 扩散模型简介 扩散模型是一种基于马尔可夫链的概率生成模型，其核心思想是通过对噪声逐步去噪的过程重建目标分布的数据[^4]。这类模型已经在图像生成领域取得了显著成果，并逐渐扩展到其他模态的数据生成任务中，例如音频、视频甚至三维点云。 #### 应用背景 激光雷达传感器作为自动驾驶汽车的重要组成部分之一，能够提供高精度的环境几何信息。然而，实际采集的真实世界LiDAR数据往往受到天气条件、光照变化等因素的影响，从而增加了算法开发和验证的成本。因此，利用仿真工具生成多样化的LiDAR扫描数据成为一种有效的替代方案。 #### 技术实现思路 以下是构建此类系统的潜在技术路径： 1. 数据预处理阶段：收集大量真实世界的LiDAR测量值并将其转换成统一格式供后续训练使用； 2. 模型架构设计方面可以选择引入U-Net风格的encoder-decoder结构配合注意力机制增强局部细节表现力；同时结合时间步嵌入向量调节不同演化阶段特性表达能力。 3. 训练过程中采用均方误差损失函数衡量预测结果与原始输入之间的差异程度，并辅以额外正则项约束促进泛化性能提升。 ```python import torch.nn as nn class UNetBlock(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding='same'), nn.ReLU(), nn.BatchNorm2d(out_channels), nn.Conv2d(out_channels, out_channels, kernel_size=3, padding='same'), nn.ReLU(), nn.BatchNorm2d(out_channels) ) def forward(self, x): return self.conv(x) def unet_model(): model = nn.Sequential( UNetBlock(64, 128), # Example layer definition ... ) return model ``` 尽管上述描述提供了理论框架指导，但针对特定应用场景优化调整参数设置仍需深入探索实践检验效果如何达到最佳平衡状态。 ### 下载资源建议 如果正在寻找与此相关的学术文章全文链接下载方式，推荐访问以下几个知名开源平台尝试检索获取： - arXiv.org: https://arxiv.org/ - ResearchGate.net: https://www.researchgate.net/ - Google Scholar: https://scholar.google.com/ 另外值得注意的是部分高质量期刊会议论文可能会有订阅权限限制情况存在，在这种情形下考虑联系作者请求副本或许不失为一条可行途径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是浮夸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值