深入理解Conditional Diffusion Models：解读《On Conditioning the Input Noise for Controlled Image Generation》

已于 2022-07-11 20:39:14 修改
阅读量6.7k 收藏 8
点赞数 4
分类专栏： Diffusion Models与深度学习 文章标签： 深度学习 人工智能 python 生成模型 计算机视觉
于 2022-05-22 09:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/124810443
版权
该博客探讨了如何通过调整扩散模型的输入噪声来引导条件生成图像，特别是利用反向梯度(IG)生成关注物体显著特征的噪声。论文提出的方法在不重新训练模型的情况下，能生成与噪声定位和方向一致的图像。IG通过优化噪声的梯度与期望图像的梯度相似度，确保主要区域的维护和输入值范围的一致性。
摘要由CSDN通过智能技术生成

Diffusion Models专栏文章汇总：入门与实战

前言：我之前写了一篇博客《条件DDPM：Diffusion model的第三个巅峰之作》梳理了conditional diffusion models的发展脉络，总结了现在常用的条件使用方法。最近逛arxiv看到一篇最新的论文主打conditional diffusion models，和读者一起读一下这篇论文《On Conditioning the Input Noise for Controlled Image Generation with Diffusion Models》

目录

用输入噪声引导条件生成

输入噪声的要求

反向梯度(IG)生成噪声

反向梯度(IG)的作用

个人感悟

用输入噪声引导条件生成

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 15
    评论
专栏目录
订阅专栏
条件DDPM：Diffusion model的第三个巅峰之作
沉迷单车的追风少年
12-23 1万+
前言：DDPM从2020年诞生，短短一年的时间，模型上有两个巨大的改进，其中一个就是condition的引入，最近大部分DDPM相关的论文都会讨论这一点，有些文章称之为latent variable。和当年GAN的发展类似，CGAN和DCGAN的出现极大程度上促进了GAN的发扬光大，意义重大。本文基于前面几篇文章继续聊一聊： 从VAE到Diffusion Model_沉迷单车的追风少年-CSDN博客 为什么diffusion model扩散模型可以称为score-based models？_沉迷单车的.
ICCV 2023 | 9篇论文看扩散模型diffusion用于图像恢复任务：超分、恢复、增强、去模糊、去阴影...
idol24的博客
01-29 2081
1、HSR-Diff: Hyperspectral Image Super-Resolution via Conditional Diffusion Models尽管高光谱图像(hyperspectral image，HSIs)在执行各种计算机视觉任务中的重要性已被证明，但由于在空间域中具有低分辨率(LR)属性，其潜力受到不利影响，这是由多种物理因素引起的。受到深度生成模型最新进展的启发，提出一种...
COD论文笔记 CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models_AAAI_2024
985小菜鸡
05-30 925
通过利用扩散模型的随机采样过程，CamoDiffusion模型能够生成多种可能的预测结果，这有助于捕捉和反映边界区域的预测不确定性，从而避免传统方法中因过于自信的点估计所导致的错误，提高伪装物体检测的准确性和可靠性。这篇论文提出了一种名为CamoDiffusion的方法，用于检测伪装的物体。CamoDiffusion方法利用了一种叫做“扩散模型”的先进技术，来逐步改进和生成伪装物体的检测结果。这种方法通过添加和去除噪声，逐步从初始的粗略预测变成精确的结果。
[论文解析]FreeDoM: Training-Free Energy-Guided Conditional Diffusion Model
Joselynzhao
04-03 1038
We propose a training-free energy-guided conditional diffusion model, FreeDoM, to address a wide range of conditional generation tasks without training. Our method uses off-the-shelf pre-trained time-independent networks to approximate the time-dependent e
【论文笔记】DiffBEV: Conditional Diffusion Model for Bird’s Eye View Perception
weixin_45657478的博客
10-01 408
【论文笔记】DiffBEV: Conditional Diffusion Model for Bird’s Eye View Perception
diffusion model加condition总结
weixin_47032489的博客
03-19 734
想要实现图生图/文生图，DM具体怎么训练的呢？学习的目标都是：你要生成内容的加噪版本文生图，图加噪图1生图2，图2加噪。
条件控制生成——diffusion模型——Adding Conditional Control to Text-to-Image Diffusion Models
Hekena的博客
02-23 3712
先猜一下，为神魔会有这种方案出来？我想是因为end-2-end的调优是比较简单快速，而且效果相较而言还能够接受的一种，但是，在LLM上的微调，参数规模太大了，很难有效的调整，又能够适应小游玩家，又能提高效率，在LLM中加入条件控制语句就成了一种方案。文中还解释了一种场景，是在比较细节的调整中，比如人的姿势，如果使用prompt的方式的话，很难调整效果达到一个可接受的情况。controlnet的参数控制和另一种模型蒸馏好像有点关系，也是在模型中嫁梯子，达到最终的目标。架梯子好像有点意思啊，可以多想想。
TensorFlow-Conditional-GAN:有条件的GAN
05-14
TensorFlow-Conditional-GAN （Conditional-GAN）条件生成对抗网络可以使用Vanilla GAN模型创建所需目标图像的模型有条件的GAN论文： : 有条件的GAN.py * loss function는 ...v2와 동일* dataset : MNIST有条件的GAN ...
Image-to-Image Translation with Conditional Adversarial Networks
04-18
而条件对抗网络（Conditional Adversarial Networks, GANs）提供了一种通用的解决方案，能够广泛适用于这类问题。 条件对抗网络不仅学习输入图像到输出图像的映射关系，而且学习一个损失函数来训练这个映射。这使得...
Conditional-Rendering:用CodeSandbox创建
03-30
在"Conditional-Rendering:用CodeSandbox创建"中，我们可以推测这是一个关于如何在CodeSandbox上利用JavaScript条件语句（如if、else、三元运算符）和React的`{}`或Vue的`v-if/v-else`指令来实现条件渲染的教学项目...
webpack-conditional-loader：JavaScript的C条件指令
02-06
npm install --save-dev webpack-conditional-loader 用法 在您的webpack.config.js 将webpack-conditional-loader作为数组中的最后一个加载器，因此它将先处理所有其他代码。 module: { rules : [ { test : / \...
conditional-container:提供一种简便的方法来有条件地显示和隐藏Nova资源中的字段
05-03
composer require digital-creative/conditional-container 用法 基本演示展示了该领域的力量： use DigitalCreative \ ConditionalContainer \ ConditionalContainer ; use DigitalCreative \ ...
Paper reading: Conditional Diffusion for Interactive Segmentation ICCV2021
家家的专栏
06-02 199
把原始图像、click的高斯maps，和预测的逻辑值，作为输入，进而促进信息从点位置到邻近像素的传播和预测。定义起始的click区域，和diffusion目标区域，作为约束信息，交互进行diffusion。
【论文精读1】CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation
MaoZhihang的博客
07-02 3206
论文精读 扩散模型
Diffusion Models 简单代码示例
wufeil7的博客
04-08 3963
扩散模型的目标是通过数据在潜在空间（latent space）的扩散过程，学习数据的潜在向量结构(latent structure)，通俗点说，扩散模型学习利用数据逐步变成噪声的过程，学习反向的去噪声过程。基于 GAN 生成模型，基于 VAE 的生成模型，以及基于 flow 的生成模型它们都可以生成较高质量的样本，但每种方法都有其局限性。扩散模型的灵感来自于非平衡热力学。他们定义了一个扩散步骤的马尔可夫链，慢慢地向数据添加随机噪声，然后学习反向扩散过程，从噪声中构建所需的数据样本。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
探索 Conditional Diffusion MNIST：深度学习的新视角
gitblog_00066的博客
04-26 499
探索 Conditional Diffusion MNIST：深度学习的新视角 项目地址:https://gitcode.com/TeaPearce/Conditional_Diffusion_MNIST 在深入探讨 Conditional Diffusion MNIST 这个项目之前，我们先理解一下其背后的理论基础——扩散模型（Diffusion Models）。这是一种利用逆过程来生成高质图像...
(BO)Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码
最新发布
small_ccb的博客
08-08 85
Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码。2️⃣、评价指标包括:R2、MAE、MSE、RMSE等，图很多，符合您的需要。4️⃣、赠送测试数据集，可以直接运行源程序。替换你的数据即可用 适合新手小白。1️⃣、运行环境要求MATLAB版本为2018b及其以上。数据格式为excel！3️⃣、代码中文注释清晰，质量极高。需要其他的都可以定制！
conditional diffusion models
11-24
条件扩散模型是一种用于描述和预测信息传播的数学模型。它基于传统的扩散模型，但加入了条件约束，使得模型更符合实际情况。 在传统的扩散模型中，信息的传播是基于网络结构和个体行为的随机性来定义的。然而，现实生活中，信息传播往往受到特定条件的限制，例如社交关系、地理位置或个人属性等。条件扩散模型通过引入这些条件来更准确地描述信息的传播过程。 条件扩散模型的一个例子是基于地理位置的扩散模型。在这种模型中，信息的传播受到个体的地理位置限制。例如，如果某个个体与周围的人距离过远，那么信息的传播可能会受到限制。这个模型可以用于预测信息在城市中的传播速度和范围。 另一个例子是基于社交关系的扩散模型。在这种模型中，信息的传播受到个体的社交关系限制。例如，如果某个个体的社交网络比较封闭，那么信息的传播可能会受到限制。这个模型可以用于预测社交媒体上信息的传播路径和影响力。 总的来说，条件扩散模型是一种考虑特定条件限制的信息传播模型。这些条件可以是地理位置、社交关系等，通过引入这些条件，我们可以更准确地描述和预测信息传播过程，在实际应用中具有一定的研究和实践价值。
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值