【扩散模型】本质是数学概率模型

已于 2023-10-27 23:58:47 修改
阅读量105 收藏
点赞数
文章标签： 机器学习 人工智能
于 2023-10-27 21:32:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q7238926z/article/details/134084348
版权

课程地址：https://github.com/huggingface/diffusion-models-class/blob/main/unit2/

今天跟随DataWhale的直播课程，进一步认识到模型的本质都是概率模型。扩散模型中通过在 UNet 下采样增加噪声，训练拟合噪声，在推理时从tn逐步预测t0的图像。

ControlNet 和 CLIP 等本质是在操控 UNet 的部分，同时 CLIP 是通过对比学习的方式通过图像文本对训练出来的。

最后用扩散模型生成的手写数字如下图：
在这里插入图片描述

飞速移动的代码菌
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
扩散模型 Diffusion Models 入门到实践 | 论文、学习资源、课程整理
叶庭云 成为自己的光
01-23 1537
扩散模型 Diffusion Models 入门到实践 | 论文、学习资源、课程整理
扩散概率模型论文学习笔记(非常详细)
04-25
扩散概率模型论文学习笔记(非常详细)
diffusion:去噪扩散概率模型
03-19
去噪扩散概率模型 乔纳森·何（Jonathan Ho），阿杰伊·贾恩（Ajay Jain），彼得阿比尔 论文： : 网址： ： 实验在Google Cloud TPU v3-8上运行。需要TensorFlow 1.15和Python 3.5，以及CPU实例的以下依赖关系（请参阅requirements.txt ）： pip3 install fire pip3 install scipy pip3 install pillow pip3 install tensorflow-probability==0.8 pip3 install tensorflow-gan==0.0.0.dev0 pip3 install tensorflow-datasets==2.1.0 培训和评估脚本位于scripts/子目录中。运行训练和评估的命令在脚本顶部的注释中。数据存储在GCS存储桶中。编写脚本
数学模型PPT(建立数学模型、初等模型、简单的优化模型、数学规划模型、微分方程模型、稳定性模型、差分方程模型、离散模型、概率模型
02-15
数学模型PPT(建立数学模型、初等模型、简单的优化模型、数学规划模型、微分方程模型、稳定性模型、差分方程模型、离散模型、概率模型、统计回归模型、马氏链模型)
概率图模型pdf讲义超详细
10-18
概率图模型pdf讲义超详细
概率统计_概率统计_matlab_数学模型_ProbabilityTheory_
10-03
01.Basic theory of probability and statistics02.mathematical model
matlab经典的算法概率模型
08-19
matlab经典的算法【概率模型】
扩散模型的数学理解
Iron_lyk Blog
03-25 1683
扩散模型(diffusion model)的数学理解
【生成模型】DDPM概率扩散模型（原理+代码)
热门推荐
qq_45752541的博客
11-23 2万+
DDPM即 Denoising Diffusion Probabilistic Model概率扩散模型，原理 +代码解析
数学建模常用模型和算法介绍
猫猫虫/的博客
08-19 1万+
这里总结了一些数学建模的常用模型和算法，我们给出了相应的模型（算法）描述、相关内容的网页链接，部分模型（算法）给出了全国大学生数学建模竞赛中使用该模型（算法）的优秀论文的例子。 模型和算法汇总目录常见模型微分方程模型元胞自动机模型动态规划模型决策树模型主成分分析图论和网路模型排队论模型时间序列分析常用算法：模拟退火算法遗传算法BP神经网络插值和拟合算法聚类分析算法 常见模型 微分方程模型 模型描述： 微分方程模型是指，在机理分析的基础上，建立关于未知变量、未知变量的导数以及自变量的方程（方程组），通过求解，
Python学习之旅预告：深入机器学习的奇妙世界 —— 从基础到前沿
04-28 725
对未来几篇博客做一个预告，开始探讨深度学习领域。
百面算法工程师 | 支持向量机——SVM
m0_67647321的博客
05-02 382
面试问题，面试提问，面试技巧
机器学习-什么是 PCA?
weixin_42924611的博客
04-29 492
一般来说，你可以根据数据的特征、模型的复杂度、以及计算资源的限制来决定。另外，你还可以设定n_components=‘mle’，这样PCA会自动选取特征个数，使得满足所要求的方差百分比。它工作的原理是通过投影的方式，将高维数据映射到低维的空间中，并尽量保证投影后的数据保留了原始数据的主要特性。通过降低数据的维度，PCA不仅可以帮助我们简化模型，还能提高算法的运行效率，减少过拟合的风险。而LDA是一种监督式学习方法，既可以用于降维，也可以进行预测应用，既可以组合其他模型一起使用，也可以独立使用。
【机器学习基础1】什么是机器学习、预测模型解决问题的步骤、机器学习的Python生态圈
hiliang521的博客
04-29 481
【机器学习基础1】什么是机器学习、预测模型解决问题的步骤、机器学习的Python生态圈
机器学习笔记-14
weixin_46081986的博客
04-30 767
机器学习系统设计、误差分析
机器学习Sklean基础教程
大黄鸭在发光的专栏
04-28 639
以上就是使用 sklearn 进行机器学习的基本步骤，包括理解和载入数据，数据预处理，选择并训练模型，以及模型的评估。这只是一个简单的介绍，实际上 sklearn 提供了更多的功能和方法来进行深度数据分析和模型调优。Scikit-learn（也称为 sklearn）是一个使用 python 语言的机器学习模块，内置了大量的监督和无监督学习算法，主要用于数据挖掘和数据分析。sklearn 提供了一些工具，如 StandardScaler，来进行数据预处理。通过训练后的模型，我们可以对新的数据进行预测。
机器学习常见面试题总结
最新发布
qq_43710593的博客
05-02 206
训练模型的目的——最小化损失函数——可以分解为和用训练出的的输出的与的输出值之间的差异。输出值之间的差异。的存在是学习算法所无法解决的问题，决定了学习的上限。假设在数据已经给定的情况下，此时上限已定，我们要做的就是尽可能的接近这个上限。
【机器学习】机器学习学习笔记 - 监督学习 - 逻辑回归分类朴素贝叶斯分类支持向量机 SVM (可分类、可回归) - 04
一只慵懒的加菲喵~~
04-27 590
【机器学习】机器学习学习笔记 - 监督学习 - 逻辑回归分类\朴素贝叶斯分类\支持向量机 SVM (可分类、可回归) - 04
HTM概率模型数学推导过程
05-22
HTM（Hierarchical Temporal Memory）是一种基于神经科学原理的机器学习算法，它用于处理时序数据和模式识别任务。HTM算法中的概率模型主要用于对数据进行建模和预测。 下面是HTM概率模型的数学推导过程： 假设我们有一个时序数据集合 $D=\{x_1,x_2,...,x_T\}$，其中 $x_t$ 表示时刻 $t$ 的数据。我们希望用HTM算法对该数据进行建模和预测。 首先，我们需要定义一个概率模型来描述数据的生成过程。假设数据是由若干个隐藏变量和观测变量共同生成的，其中隐藏变量表示数据的内在结构和规律，观测变量表示我们能够观测到的数据。我们将隐藏变量记作 $h_t$，观测变量记作 $x_t$。 接下来，我们假设隐藏变量和观测变量之间存在一个条件概率分布 $P(x_t|h_t)$，表示在给定隐藏变量 $h_t$ 的情况下，观测变量 $x_t$ 的概率分布。为了简化问题，我们通常假设 $P(x_t|h_t)$ 是一个高斯分布，即： $$ P(x_t|h_t) = \frac{1}{\sqrt{(2\pi)^n|\Sigma|}}\exp\left(-\frac{1}{2}(x_t-\mu_t)^T\Sigma^{-1}(x_t-\mu_t)\right) $$ 其中，$n$ 表示观测变量的维度，$\mu_t$ 和 $\Sigma$ 分别表示在给定隐藏变量 $h_t$ 的情况下，观测变量 $x_t$ 的均值向量和协方差矩阵。 接着，我们假设隐藏变量之间存在一个转移概率分布 $P(h_t|h_{t-1})$，表示在给定上一时刻的隐藏变量 $h_{t-1}$ 的情况下，当前时刻的隐藏变量 $h_t$ 的概率分布。为了简化问题，我们通常假设 $P(h_t|h_{t-1})$ 是一个高斯分布，即： $$ P(h_t|h_{t-1}) = \frac{1}{\sqrt{(2\pi)^m|\Sigma_h|}}\exp\left(-\frac{1}{2}(h_t-\Phi h_{t-1})^T\Sigma_h^{-1}(h_t-\Phi h_{t-1})\right) $$ 其中，$m$ 表示隐藏变量的维度，$\Phi$ 和 $\Sigma_h$ 分别表示转移矩阵和协方差矩阵。 最后，我们假设初始状态的隐藏变量 $h_1$ 服从一个高斯分布 $P(h_1)$，表示在初始时刻，隐藏变量 $h_1$ 的概率分布。 综合以上三个假设，我们可以得到一个完整的概率模型，即： $$ P(D) = P(h_1)\prod_{t=2}^{T}P(h_t|h_{t-1})\prod_{t=1}^{T}P(x_t|h_t) $$ 其中，$P(D)$ 表示数据集合 $D$ 的概率分布。我们可以通过最大化 $P(D)$ 来求出最优的模型参数，从而对数据进行建模和预测。具体的参数估计方法可以使用EM算法或者变分推断等技术来实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值