深度学习
文章平均质量分 57
phoenix@Capricornus
六边形美少女战士
展开
-
扩散模型详细推导过程——训练与采样
扩散模型的去噪过程(解码器)扩散模型的解码器是为了反转编码过程。如果知道逆向转移核p(zt−1∣zt)p(\boldsymbol{z}_{t-1}|\boldsymbol{z}_{t})p(zt−1∣zt),那么就可以先从p(zT)=N(0,I)p(\boldsymbol{z}_T)=N(\boldsymbol{0},\boldsymbol{I})p(zT)=N(0,I)采样出zT\boldsymbol{z}_TzT,再通过p(zT−1∣zT)p(\boldsymbol{z}_{T-1}|\bol原创 2024-06-20 21:42:00 · 722 阅读 · 0 评论 -
扩散模型详细推导过程——编码与解码
该扩散特点符合马尔科夫链的性质,即每一时刻的状态仅依赖于上一时刻的状态,而与之前的状态无关。,经过如下的逐步编码(添加噪声)过程可以得到一个符合标准高斯分布的噪声。该表达式使用了多元高斯分布的定义,即若随机变量。非常大的时候,该过程十分耗时,但可以将。将服从高斯分布,该推导在下面会涉及。是已知的,它不是分布,而是常量②。为了区分不同时刻所对应的噪声,对。可以通过先从标准的高斯分布中采样。再根据高斯分布的混合公式,将。很大的时候近似等于0,此时。近似为一个标准的高斯分布。根据前面的分析,在已知。原创 2024-06-20 21:41:16 · 748 阅读 · 0 评论 -
normalizing flows vs 直方图规定化
normalizing flows是构造一个可逆的深度神经网络。原创 2024-06-08 16:13:34 · 184 阅读 · 0 评论 -
四大生成式模型的本质区别——GAN、VAE、流和扩散模型
结合了自编码器和变分推断的思想,能够学习输入数据的潜在变量分布,并通过这些变量进行生成。VAE以概率编码器和概率解码器为基础,通过最大化对数似然来训练参数,VAE能够学习到输入数据的潜在变量分布,并生成与训练数据相似的新数据。这种基于概率的建模方式使得VAE能够生成多样化的数据样本。虽然包含编码器和解码器结构,但主要关注于数据的重构误差,而非学习数据的概率分布。原创 2024-04-07 09:11:36 · 429 阅读 · 0 评论 -
BP算法的直观原理
这幅图非常清楚展现了每个神经元的downstream。这幅图非常清晰说明了BP算法的原理。原创 2024-04-05 18:33:02 · 229 阅读 · 0 评论 -
ReLU传递函数的本质
ReLU传递函数的本质是用分段线性函数以任意精度逼近任意函数。深层网络层数多,总能逼近。原创 2024-04-04 18:04:01 · 231 阅读 · 0 评论 -
diffusion模型(DM)的本质
正向转移核是正态分布,逆向转移核不是正态分布,加上原图像的状态后,才是正态分布,diffusion模型解决的问题是用网络去逼近逆向转移核。diffusion模型的本质是编解码,凡是嚷嚷去噪的,那就是不懂。原创 2024-03-31 09:21:22 · 175 阅读 · 0 评论