I2SB: Image-to-Image Schrödinger Bridge（扩散模型学习）

已于 2024-03-31 13:45:07 修改
阅读量485 收藏 8
点赞数 3
分类专栏： 扩散模型 深度学习 医学图像 文章标签： 学习
于 2024-03-25 15:12:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43309908/article/details/136996896
版权

文章目录

一、I2SB

1.解决非线性扩散
2.Schrödinger Bridge
3.适用于图像恢复任务

在这里插入代码片

这里是引用

二、Diffusion Model（李宏毅）

扩散模型 - Diffusion Model【李宏毅2023】

1. 框架：

三部分（1）理解输入Encoder（GPT、Bert）（2）加入噪声生成中间产物(Network)（3）生成图片Decoder（不需要文字）
在这里插入图片描述

1.1 Text Encoder

在这里插入图片描述

1.2

1.3【中间产物】为小图或网络训练的结果

在这里插入图片描述

2. 评价指标

真实图片和生成图片扔进Pretrain-CNN看最后一层特征的相似度。结果越小越好
在这里插入图片描述

2. 原理

在这里插入图片描述
在这里插入图片描述

1. Training

生成预测的噪声
Ground Truth，训练数据
在这里插入图片描述

2.2 Sampleing

在这里插入图片描述
在这里插入图片描述
流程（DDMP）
在这里插入图片描述

三、数学推导

简单的分布生成复杂的分布
如何评估：极大似然估计（极大似然估计就是在只有概率的情况下，忽略低概率事件直接将高概率事件认为是真实事件的思想。）
极大似然估计和最小化交叉熵损失（KL散度）完全等价

某一张图的几率

在这里插入代码片

这里是引用

4. DDPM（Denoising Diffusion Probabilistic Models）

DRMAOO
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
qsim:用于量子电路的Schrödinger和Schrödinger-Feynman仿真器
04-15
qsim qsim是Schrödinger全状态向量模拟器。 它计算状态向量的所有2 n个幅度，其中n是量子位的数量。 本质上，模拟器反复执行矩阵矢量乘法。 一个矩阵向量乘法对应于施加一个门。 总运行时间与g2 n成正比，其中g是2...
论文研究 - Klein-Gordon和Schrödinger方程的Lie对称性
05-29
在本文中，我们通过将Noether点对称的几何概念应用于以下定义的Lagrangian，研究Klein-Gordon方程和Schr？dinger方程的Lie点对称性。 此外，我们在与Klein-Gordon和Schr？dinger方程有关的Lie对称性之间建立了牢固的...
（2024，SDE，对抗薛定谔桥匹配，离散时间迭代马尔可夫拟合，去噪扩散 GAN）
qq_44681809的博客
05-26 1045
薛定谔桥问题结合最优输运和扩散模型，可用 IMF 求解，但推理时间较长。为此，本文提出 D-IMF，其中随机过程的学习被替换为仅在离散时间内学习几个转移概率​，它可通过 DD-GAN 实现，从而仅用几步实现与 IMF 相同质量的无监督域迁移
（2023|PAMI，diffusion & 综述）视觉扩散模型
qq_44681809的博客
09-03 1443
三个通用扩散建模框架；扩散模型和其他深度生成模型之间的关系；扩散模型的应用；当前局限，设想未来。
扩散模型：DDPM的两种数学推导
weixin_37737254的博客
04-14 1182
在上一篇文章最后结尾时，笔者提到扩散模型(Diffusion Models)实际上就是一种在限定条件下的马尔可夫层次变分自编码器(Markovian Hierarchical Variational Autoencoder, MHVAE)，是融入了马尔可夫过程的VAE模型。其本质上和VAE的流程有相似之处，都是经过原始图像->高斯噪声图->生成图像的三个步骤。本文将接续上一篇关于ELB...
量子力学接替扩散模型？S-DSB：任意两个分布之间进行双向生成！
CV_Autobot的博客
05-22 105
作者|CW不要無聊的風格 编辑| 极市平台原文链接：https://zhuanlan.zhihu.com/p/696121622/点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『扩散模型』技术交流群本文只做学术分享，如有侵权，联系删文导读来看看S-DSB到底是个什么东西！邂逅前段时间的某个早上，在“晨例”喝手...
扩散模型 - Diffusion Model【李宏毅2023】学习笔记 数学原理篇
QianMo的博客
09-27 545
这里的alpha为参数，采样得到的t越大说明噪音越大，原图所占比例越小，这里的t为当前去噪下标。
使用Schrödinger Python API系列教程 -- 介绍 (一)
发呆的比目鱼的博客
04-12 1448
使用Schrödinger Python API系列教程(一)
推荐：Unpaired Neural Schrödinger Bridge —— 开启图像转换新纪元
gitblog_00012的博客
06-20 242
推荐：Unpaired Neural Schrödinger Bridge —— 开启图像转换新纪元 项目地址:https://gitcode.com/cyclomon/UNSB 在深度学习领域，尤其是计算机视觉中，Unpaired Neural Schrödinger Bridge（UNSB） 的出现如同一股清流，为无监督的图像到图像翻译开辟了新的道路。该项目基于PyTorch框架实现，在国际顶...
【Schrödinger薛定谔软件使用实战】- 4lyw蛋白实战
bblb的博客
05-01 1223
带来薛定谔软件的使用4lyw蛋白实战教程
Paper Reading:Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
yihool_的博客
06-02 528
1.Introduction 问题提出：在Image-to-Image模型中，缺少成对的训练样本。 本文提出了一个在缺少成对样本中能够实现讲Image-A转变为Image-B的方法。 提出一个能够学习不成对图片之间关系的算法。 对于传统的GAN，如果给生成器输入随机X使其输出Y，然后使判别器对Y和yreal进行判别，那么最终会学到一个类似于Yreal的分布。这种方式存在两个问题： 第一个是无法保证以一种特定的方式实现单个x到y的映射，因为这里有无限多种映射可以实现Y。 第二个是在训练过程中很容易产生模式坍塌
论文研究 - 具有位置相关质量的Schrödinger方程中的一类新的精确可解模型
05-21
在本文中，我们使用一种新方法，该方法是我们最近开发的一种用于在Schr？odinger方程中构建量子动能算子（KEO）的方法，目的是构造一类具有位置变化质量的可精确求解的新模型，从而提供一个谐波类振荡器频谱。 为此...
Quantum_PEF2:Python程序以数值方式求解任意势能的Schrödinger方程
05-17
一种求解Schrödinger方程的数值方法。 量子力学被认为是物理学中最怪异的分支之一，尽管具有最准确，反直觉的预测，但它却具有最多的预测。 问题不在于理论，而在于它试图解释的东西：微观世界。 此外，由于薛定...
十大成长型思维：定位思维、商业思维、时间管理思维、学习成长思维、精力管理思维、逻辑表达思维、聚焦思维、金字塔原理、目标思维、反思思维
limengshi138392的博客
06-15 1106
十大成长型思维：定位思维、商业思维、时间管理思维、学习成长思维、精力管理思维、逻辑表达思维、聚焦思维、金字塔原理、目标思维、反思思维
学习记录：VS2019+OpenCV3.4.1实现SURF库函数的调用
weixin_42532989的博客
06-16 941
1.LNK2019 无法解析的外部符号 "public: static struct cv::Ptr 2.opencv_ffmpeg.dll、opencv_ffmpeg_64.dll下载失败无法无法生成opencv_xfeatures2d341d.lib 3.**由于找不到opencv_features2d341d.dll……**
新人学习笔记之（标识符和键盘录入）
最新发布
2401_83311390的博客
06-20 57
3.使用方式：scanf("占位符",变量名);1.scanf，是scanner format的缩写，是C语言提供的一个函数。代码文件：全部小写，单词之间用下划线隔开，开头可以用数字。1.标识符是：代码中所有我们自己起的名字，比如变量名、函数名等。2.作用：获取用户在键盘上输入的数据，并赋值给变量。由数字、字母、下划线(_)组成。占位符之间的间隔符号建议用空格。占位符和后面的变量要一一对应。用英文单词，见名知意。2.命名规则---硬性要求。3.命名规则---软性要求。
>> function [sa,sb,sc] = fcn(Ts,L1,L2,C2,udc,uca,ucb,ucc,i1a,i1b,i1c,i2a,i2b,i2c,i2refa,i2refb,i2refc,ucrefa,ucrefb,ucrefc,ea,eb,ec,i1refa,i1refb,i1refc) K1=Ts/L2;temp=0;C=0;P=0;mpc=1;sa=0;sb=0;sc=0;K2=Ts/C2;K3=Ts/L1; w1=1; w2=0.7; w3=20; g=[0 0 0 0 0 0 0 0]; h=[0 0 0 0 0 0 0 0]; k=[0 0 0 0 0 0 0 0]; z=[0 0 0 0 0 0 0 0]; g(1)=abs(i2refa-i2a-K1*(uca-udc*0))+abs(i2refb-i2b-K1*(ucb-udc*0))+abs(i2refc-i2c-K1*(ucc-udc*0)); g(2)=abs(i2refa-i2a-K1*(uca-udc*(-1/3)))+abs(i2refb-i2b-K1*(ucb-udc*(-1/3)))+abs(i2refc-i2c-K1*(ucc-udc*(2/3))); g(3)=abs(i2refa-i2a-K1*(uca-udc*(-1/3)))+abs(i2refb-i2b-K1*(ucb-udc*(2/3)))+abs(i2refc-i2c-K1*(ucc-udc*(-1/3))); g(4)=abs(i2refa-i2a-K1*(uca-udc*(-2/3)))+abs(i2refb-i2b-K1*(ucb-udc*(1/3)))+abs(i2refc-i2c-K1*(ucc-udc*(1/3))); g(5)=abs(i2refa-i2a-K1*(uca-udc*(2/3)))+abs(i2refb-i2b-K1*(ucb-udc*(-1/3)))+abs(i2refc-i2c-K1*(ucc-udc*(-1/3))); g(6)=abs(i2refa-i2a-K1*(uca-udc*(1/3)))+abs(i2refb-i2b-K1*(ucb-udc*(-2/3)))+abs(i2refc-i2c-K1*(ucc-udc*(1/3))); g(7)=abs(i2refa-i2a-K1*(uca-udc*(1/3)))+abs(i2refb-i2b-K1*(ucb-udc*(1/3)))+abs(i2refc-i2c-K1*(ucc-udc*(-2/3))); g(8)=abs(i2refa-i2a-K1*(uca-udc*0))+abs(i2refb-i2b-K1*(ucb-udc*0))+abs(i2refc-i2c-K1*(ucc-udc*0)); % for P=1:8 % z(P)=w1*g(P)+w2*h(P)+w3*k(P); % end % temp=z(1); % for C=1:8 % if z(C)<temp % temp=z(C); % mpc=C; % end % end switch mpc case 1 sa=0;sb=0;sc=0; case 2 sa=0;sb=0;sc=1; case 3 sa=0;sb=1;sc=0; case 4 sa=0;sb=1;sc=1; case 5 sa=1;sb=0;sc=0; case 6 sa=1;sb=0;sc=1; case 7 sa=1;sb=1;sc=0; case 8 sa=1;sb=1;sc=1; otherwise sa=0;sb=0;sc=0; end 这是matlab function中的一段代码如何修改代码找出使g输出最小的四个输入状态
05-23
您可以使用Matlab中的sort函数找出使g输出最小的四个输入状态。具体方法是将g向量排序并找出前四个最小的元素的索引，然后在switch语句中使用这四个索引进行判断。修改后的代码如下： function [sa,sb,sc] = fcn(Ts,L1,L2,C2,udc,uca,ucb,ucc,i1a,i1b,i1c,i2a,i2b,i2c,i2refa,i2refb,i2refc,ucrefa,ucrefb,ucrefc,ea,eb,ec,i1refa,i1refb,i1refc) K1=Ts/L2;temp=0;C=0;P=0;mpc=1;sa=0;sb=0;sc=0;K2=Ts/C2;K3=Ts/L1; w1=1; w2=0.7; w3=20; g=[0 0 0 0 0 0 0 0]; h=[0 0 0 0 0 0 0 0]; k=[0 0 0 0 0 0 0 0]; z=[0 0 0 0 0 0 0 0]; g(1)=abs(i2refa-i2a-K1*(uca-udc*0))+abs(i2refb-i2b-K1*(ucb-udc*0))+abs(i2refc-i2c-K1*(ucc-udc*0)); g(2)=abs(i2refa-i2a-K1*(uca-udc*(-1/3)))+abs(i2refb-i2b-K1*(ucb-udc*(-1/3)))+abs(i2refc-i2c-K1*(ucc-udc*(2/3))); g(3)=abs(i2refa-i2a-K1*(uca-udc*(-1/3)))+abs(i2refb-i2b-K1*(ucb-udc*(2/3)))+abs(i2refc-i2c-K1*(ucc-udc*(-1/3))); g(4)=abs(i2refa-i2a-K1*(uca-udc*(-2/3)))+abs(i2refb-i2b-K1*(ucb-udc*(1/3)))+abs(i2refc-i2c-K1*(ucc-udc*(1/3))); g(5)=abs(i2refa-i2a-K1*(uca-udc*(2/3)))+abs(i2refb-i2b-K1*(ucb-udc*(-1/3)))+abs(i2refc-i2c-K1*(ucc-udc*(-1/3))); g(6)=abs(i2refa-i2a-K1*(uca-udc*(1/3)))+abs(i2refb-i2b-K1*(ucb-udc*(-2/3)))+abs(i2refc-i2c-K1*(ucc-udc*(1/3))); g(7)=abs(i2refa-i2a-K1*(uca-udc*(1/3)))+abs(i2refb-i2b-K1*(ucb-udc*(1/3)))+abs(i2refc-i2c-K1*(ucc-udc*(-2/3))); g(8)=abs(i2refa-i2a-K1*(uca-udc*0))+abs(i2refb-i2b-K1*(ucb-udc*0))+abs(i2refc-i2c-K1*(ucc-udc*0)); % 找出前四个最小元素的索引 [~,idx] = sort(g); idx = idx(1:4); for P=1:8 h(P)=abs(ea-g(P)); k(P)=abs(i1refa-i1a-K3*(ea-ea*0)-K2*ea); end for P=1:4 % 只在前四个最小元素中搜索最小值 z(P)=w1*g(idx(P))+w2*h(idx(P))+w3*k(idx(P)); end [temp,mpc] = min(z); % 找出最小值和对应的输入状态 switch mpc case idx(1) sa=0;sb=0;sc=0; case idx(2) sa=0;sb=0;sc=1; case idx(3) sa=0;sb=1;sc=0; case idx(4) sa=0;sb=1;sc=1; case idx(5) sa=1;sb=0;sc=0; case idx(6) sa=1;sb=0;sc=1; case idx(7) sa=1;sb=1;sc=0; case idx(8) sa=1;sb=1;sc=1; otherwise sa=0;sb=0;sc=0; end end

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值