AIGC实战——归一化流模型(Normalizing Flow Model)

已于 2025-04-07 11:23:09 修改
阅读量6.9k 收藏 89
点赞数 70
分类专栏： 生成式人工智能从入门到实战 文章标签： AIGC 深度学习 生成模型
于 2024-02-05 08:13:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LOVEmy134611/article/details/135984457
版权
本文介绍了归一化流模型（Normalizing Flow Model），这是一种用于生成建模的新型技术，它通过可逆变换直接建模数据的概率分布。文章深入探讨了基本原理，如变量变换、雅可比行列式和RealNVP模型，还提到了其他如GLOW和FFJORD等先进模型，展示了归一化流模型在处理复杂数据分布上的强大能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

AIGC实战——归一化流模型

0. 前言

我们已经学习了三类生成模型：变分自动编码器 (Variational Autoencoder, VAE)、生成对抗网络 (Generative Adversarial Network, GAN) 和自回归模型 (Autoregressive Model)。每种模型都使用不同的方式对分布 p ( x ) p(x)

了解本专栏 订阅专栏 解锁全文
AIGC实战——扩散模型(Diffusion Model)
盼小辉丶的博客
02-26 8824
本节介绍了最近最先进的生成模型之一，扩散模型。介绍了去噪扩散概率模型 (Denoising Diffusion Probabilistic Model, DDPM)，并利用去噪扩散隐式模型 (Denoising Diffusion Implicit Model, DDIM) 的思想，使生成过程具备完全的确定性。扩散模型由前向扩散过程和逆扩散过程组成，前向扩散过程通过一系列小步骤向训练数据添加噪声，而逆扩散过程中模型的目标是预测添加的噪声。
AIGC实战——生成模型简介
盼小辉丶的博客
08-29 8万+
生成式人工智能是一种人工智能方法，旨在通过学习训练数据的分布模型来生成新的、原创的数据。人工智能生成内容 (Artificial Intelligence Generated Content, AIGC) 是生成式人工智能的一个具体应用和实现方式，是指利用人工智能技术生成各种形式的内容，如文字、图像、音频和视频等。本节将介绍生成模型基本概念，首先介绍生成模型的基本概念，然后，构建用于衡量生成模型性能的框架，并介绍一些重要的核心概念。然后，介绍当前主流的生成模型技术及其分类。
机器学习笔记之流形模型——标准流模型基本介绍
静静的学习就好
02-28 1208
本节将介绍概率生成模型——标准流模型(Normalizing Flow)。
Normalizing flow 流模型 | CS236深度生成模型Lec8学习笔记
最新发布
DB20250219的博客
02-24 931
这篇blog基本上是CS236 Lec8的刷课总结/刷课笔记。
归一化流模型
darren_ying0803的博客
06-18 682
然而，由于潜在变量上的相关边际分布难以实现，它们的训练、评估和抽样程序需要使用诸如平均场推理和马尔可夫链蒙特卡罗等近似方法，这些复杂模型的收敛时间仍然不确定，往往导致产生高度相关的样本。然而，衡量生成样本中多样性的指标是目前是难以处理的。我们使用实值非体积保存（real NVP）转换，结果得到了一个具有精确对数似然计算的，精确有效的抽样，潜在变量的推断，以及可解释的潜在空间的无监督学习算法。由于感兴趣的数据通常是高维的和高度结构化的，在这个领域的挑战是建立足够强大的模型，以捕获其复杂性，但仍然是可训练的。
归一化流总结
qq_60609496的博客
05-19 1058
归一化流总结
（pytorch进阶之路）NormalizingFlow标准流
qq_19841133的博客
09-16 5066
NF和GAN一样是一个生成模型，NF与GAN不同的是，GAN是以模糊的方式对目标数据分布进行建模， 没有直接写出px的表达式，而是将x送入下游的判别器做分类任务，通过对抗的方式让生成器生成比较好的效果而标准流NF可以显式地将目标的表达式px写出来，通过优化对数似然函数达到最大去调整参数，使得模型很好的拟合目标分布标准流模型是一个可逆的模型，也就是训练的时候，是从x到z的变化过程，最大化似然函数，推理时候就反过来使用，以一个随机变量z作为输入，把网络完全逆过来，计算反函数，算出x。
AIGC实战——能量模型(Energy-Based Model)
盼小辉丶的博客
02-18 7647
能量模型 (Energy-based Model, EBM) 是一类常见的生成模型，其借鉴了物理系统建模的一个关键思想，即事件的概率可以用玻尔兹曼分布来表示。玻尔兹曼分布是一种将实值能量函数归一化到 0 和 1 之间的函数，该分布最早由 Ludwig Boltzmann 于 1868 年提出，用于描述处于热平衡状态的气体系统。在本节中，我们将利用这一思想来训练一个生成模型，用于生成 MNIST 手写数字的图像。
AIGC实战——多模态模型Flamingo
盼小辉丶的博客
09-16 7808
Flamingo 是一种视觉语言模型，即它接受交替的文本和视觉数据流(图像和视频)作为输入，并能够以解码器 Transformer 的方式用额外的文本完善提示。其通过视觉编码器和 Perceiver 重采样器将视觉信息输入到 Transformer 中，该编码器能够将输入特征编码为少量的视觉特征。语言模型本身是 DeepMind Chinchilla 模型的扩展，经过调整以融入视觉信息。
生成式深度学习(第二版)-译文-第六章-归一化流模型
GarryWang1248的博客
11-09 1788
我们将以一则短故事开始，来展现归一化流背后的关键概念。JACOB 和 THE F.L.O.W. 机器访问一个小乡村后，你注意到一个看起来颇为神秘的商店，门上的标识写到 JACOB’s。好奇的，你小心翼翼的进入，并问站在柜台的老人他有些什么东西可以售卖(图6-1)。老人回复到，它提供了一个服务，可以数字化画作。在商店后面搜索了一阵之后，他拿出了一个银盒，上有浮雕字母 F.L.O.W.。他告诉你这代表 Finding Likeness of Watercolors，这大概描述了机器做的事情。
NeuralWavelet:论文“通过归一化流学习非线性小波变换”的实现（arXiv
05-25
神经小波流 此存储库为论文通过归一化流学习非线性小波变换（ ）提供了原始代码。 在查看实现的。 介绍 小波变换是现代数据分析和信号处理的基石。 它的数学本质是可逆变换，可以在频域中识别慢速模式与快速模式，并在每个级别上重复进行。 这样的可逆变换可以通过设计的归一化流模型来学习。 通过类似于小波降采样机制的分解因子方案，相互独立的先验值以及沿网络深度的参数共享，可以训练归一化流模型以分解出与不同级别的快速模式相对应的变量，从而扩展线性小波转换为非线性可学习模型。 在这项工作中，给出了建立这种流程的具体方法。 然后，演示该模型在无损压缩任务，渐进式加载和超分辨率（上采样）任务中的能力。 最后，从低通/高通滤波器的角度对学习模型进行了分析。 结果 小波变换图 图1.学习的小波变换的两次迭代，对每个通道进行归一化以进行可视化。 在ImageNet64数据集上训练该转换，并在Lena图像（512×
Julia 中无穷小连续归一化流算法的实现_julia_代码_下载
06-09
Julia 中无穷小连续归一化流算法的实现
CVPR 2023 | 浙大提出全归一化流模型PyramidFlow：高分辨率缺陷异常定位新范式
Paper weekly
03-13 2021
©作者 |博学的咖喱酱不鸣则已，一鸣惊人！浙江大学光电学院提出全归一化流模型——PyramidFlow，它将潜在模板对比的思想融入最先进的归一化流技术，提出金字塔耦合块 (Pyramid Block) 和体积归一化策略 (Volume Normalization)，首次实现了高分辨的缺陷异常定位。一句话：提出了首个不依赖于预训练模型的全归一化流方法，专为高分辨率的缺陷异常定位设计。论文标题：Py...
使用Pytorch从零开始构建Normalizing Flow
GarryWang1248的博客
11-26 3535
归一化流 (Normalizing Flow) （Rezende & Mohamed，2015）学习可逆映射fX→Z, 在这里X是我们的数据分布Z选定的潜在分布。归一化流是生成模型家族的一部分，其中包括变分自动编码器 (VAE) (Kingma & Welling, 2013)和生成对抗网络 (GAN) (Goodfellow 等人, 2014)。一旦我们学会了映射F，我们通过采样生成数据zpZ​, 然后应用逆变换,F−1zXGen​。
【深度学习】介绍Normalizing Flows及其两种方法——MAF和RealNVP，介绍了深度学习生成模型的基本概念、术语及符号说明，并给出了该方法的原理和操作步骤
AI天才研究院
08-13 741
概率生成模型（probabilistic generative model）是一个非常重要的统计工具，可以用于表示潜在数据生成分布、进行推断、进行采样、评估训练质量等。其目标是对未观察到的样本变量进行建模，并能够通过这些变量生成具有真实分布的新样本。从某种意义上说，所谓的生成模型就是一个模型，它可以根据给定的条件生成相应的数据。但是与传统的判别式模型不同，生成模型不能直接预测输出变量的取值，只能生成可观测的数据分布。
归一化Normalization（可以理解将数据标准化）
weixin_47414034的博客
07-14 519
求出一组数据的均值和方差，使用求出来的均值和方差对这组数据进行归一化（标准化），使得均值为0，方差为1假设一个输入数据集一列的数据，其值范围为0到10，另一列的值范围为100,000到10,00,000建模时将这些值作为特征组合时，最终会出现误差通过归一化，创建新的数值来保持这两列呈现类似的分布，比如正态分布。常见的归一化方法有：Batch Normalization(BN)，Layer Normalization(LN)BN就是在N（图片数量）上做归一化（纵向规范化） LN是在C（通道数）上做归一化（横向
归一化 （Normalization）、标准化 （Standardization）和中心/零均值化 （Zero-centered）
热门推荐
ytusdc的博客
12-31 14万+
b、梯度：以输入-隐层-输出这样的三层BP为例，我们知道对于输入-隐层权值的梯度有2ew(1-a^2)*x的形式（e是误差，w是隐层到输出层的权重，a是隐层神经元的值，x是输入），若果输出层的数量级很大，会引起e的数量级很大，同理，w为了将隐层（数量级为1）映身到输出层，w也会很大，再加上x也很大的话，从梯度公式可以看出，三者相乘，梯度就非常大了。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。中心化，也叫零均值处理，就是将每个原始数据减去这些数据的均值。
通过条件归一化流的定位实时无监督异常检测
darren_ying0803的博客
06-15 1783
我们的方法构建了一个计算高效和存储高效的模型：在相同的输入设置下，CFLOW-AD比之前的最先进的技术更快、更小10倍。最后，对于异常的标记是主观的，需要广泛的领域专业知识，如图1所示的工业电缆缺陷。由于监督学习异常检测的这些限制，只为训练Dtrain未标记的无异常图像的训练数据集是一个更具有吸引力的方法，如图1（上一行）所示。其中随机变量ui = g−1（zi，ci，θ）、CFLOW解码器的雅可比矩阵Ji =∇zg−1（zi，ci，θ）和DKL中的期望操作被大小为n的经验训练数据集取代。
softmax函数矩阵
02-20
### 关于Softmax函数及其矩阵运算 #### 背景介绍 Softmax函数是一种常用的激活函数，在多分类问题中用于将模型输出转换成概率分布。该函数能够确保每个元素的值位于\( (0, 1) \)，并且所有元素之和等于1。 #### 数学表达式 对于给定的输入向量\(\mathbf{z}=[z_1,z_2,\ldots,z_n]\), Softmax函数定义如下： \[ S(z_i)=\frac{\exp{(z_i)}}{\sum_{j=1}^{n}\exp{(z_j)}}, i = 1,..., n \] 为了防止数值溢出，通常会采用一种更稳定的版本来计算此函数[^4]。 #### 改进版公式推导 考虑到指数项可能导致极大或极小的结果，进而造成浮点数表示范围外的情况发生，因此引入了减去最大值得到的新形式: 设 \( m=\max({z}) \) 则新的softmax表达变为： \[S'(z_i)=\frac{\exp{(z_i-m)}}{\sum_{j=1}^{n}\exp{(z_j-m)}}\] 这样做既不会改变最终结果的比例关系又有效避免了潜在的数据溢出风险。 #### Python代码实现 下面给出不依赖第三方库（如NumPy）的情况下基于上述优化公式的Python实现方式： ```python def softmax(x): """Compute the softmax of vector x.""" e_x = [pow(math.e, xi-max(x)) for xi in x] sum_ex = sum(e_x) result = [] for exi in e_x: result.append(exi / sum_ex) return result ``` 这段程序首先找到列表中的最大值作为偏移量m；接着分别求得各个位置上的调整后指数幂e^(xi−m);最后按照比例分配这些权重形成最终的概率分布[^5]. #### Jacobian Matrix雅可比矩阵 当涉及到反向传播算法时，需要知道softmax相对于输入变量的变化率——即Jacobian matrix。由于softmax是一个矢量化操作，它的导数实际上构成了一个nxn大小的方阵A，其中第(i,j)个元素a_ij由下述规则决定： - 当i=j时：\[ a_{ii}=s_i*(1-s_i)\] - 否则 ：\[ a_{ij}=-s_i*s_j\] 这里\( s_i \)代表经过softmax变换后的输出值之一[^1].
评论 90
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值