生成基于分数的模型（Generative Score-Based Models）代码实现

最新推荐文章于 2024-07-11 11:48:43 发布

HnrzLinux

最新推荐文章于 2024-07-11 11:48:43 发布

阅读量265

点赞数

文章标签：机器学习-深度学习

本文链接：https://blog.csdn.net/HnrzLinux/article/details/133243136

版权

机器学习-深度学习专栏收录该内容

127 篇文章 33 订阅 ¥59.90 ¥99.00

订阅专栏

本文介绍了如何实现一个简单的生成基于分数的模型，使用Python和PyTorch库。通过定义分数函数建模数据分布，避免了GANs和VAEs的模式崩溃问题，能更好地控制生成样本质量。文章提供代码示例，包括模型定义、训练函数以及数据生成和训练过程，适用于图像生成、自然语言处理等领域。

摘要由CSDN通过智能技术生成

生成基于分数的模型（Generative Score-Based Models）是一类用于生成数据的概率模型。与传统的生成对抗网络（GANs）和变分自动编码器（VAEs）不同，生成基于分数的模型通过定义一个分数函数来直接建模数据的概率分布。这种方法的优点是可以避免训练过程中的模式崩溃问题，并且可以更好地控制生成样本的质量。

在本文中，我们将手把手地介绍如何实现一个简单的生成基于分数的模型，并提供相应的代码示例。我们将使用Python编程语言和PyTorch深度学习库来进行实现。

首先，我们需要导入所需的库：

import torch
import torch.nn as nn
import torch.optim as optim
import numpy as

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

HnrzLinux

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

score-based generative models【公式推导+代码实战】

zik的博客

03-31

1671

这篇文章包含score-based generative models的公式推导以及对应的代码实战，有助于全面的理解扩散模型和基于分数的生成模型。

score-based generative models【训练部分-代码实战】

zik的博客

03-31

971

2、使用去噪分数加权和匹配目标进行训练Training with Weighted Sum of Denoising Score Matching Objectives 2.1设置SDE 2.2定义损失函数Define the loss function std我们知道是t时刻的扰动后条件高斯分布的标准差即12log⁡σ(σ2t−1)\sqrt{ \frac{1}{2\log \sigma}(\sigma^{2t} - 1)}2logσ1(σ2t−1)而λ(t)=12log⁡σ(σ2t−1)\lam

1 条评论您还未登录，请先登录后发表或查看评论

【理论推导】基于分数的生成模型Score-based Model

fnoi2014xtx的博客

03-29

1545

Score-based Models

【笔记】Score-based Generative Models（二）：基于 SDE 的模型

最新发布

LittleNyima的博客

07-11

393

介绍基于随机微分方程的分数模型

扩散模型Diffusion model | 基于分数的生成模型

m0_62249876的博客

11-13

2365

现有的图像生成技术在很大程度上可以根据它们如何表示概率分布分为两类。基于似然的模型，通过（近似）最大似然直接学习分布的概率密度（或质量）函数。典型的基于似然的模型包括自回归模型、归一化流动模型、基于能量的模型（EBM）和变分自编码器（VAE）。隐式生成模型，其中概率分布由其采样过程的模型隐式表示。如生成对抗网络（GAN），其中通过用神经网络转换随机高斯向量来合成来自数据分布的新样本。

score_sde_pytorch:通过随机微分方程（ICLR 2021，口服）的基于分数的生成建模的PyTorch实施

05-04

通过随机微分方程的基于分数的生成建模此回购包含PyTorch实现，用于作者：，，，，和我们提出了一个统一的框架，该框架通过随机微分方程（SDE）的角度概括和改进了基于分数的生成模型的先前工作。特别是，我们可以使用SDE描述的连续时间随机过程将数据转换为简单的噪声分布。如果我们知道每个中间时间步的边际分布得分，则可以将其转换为样本生成，可以通过得分匹配进行估算。基本概念如下图所示：我们的工作可以更好地理解现有方法，新的采样算法，精确似然计算，唯一可识别的编码，潜在代码操作，并为家庭带来新的条件生成能力（包括但不限于类条件生成，修复和着色）基于分数的生成模型。综合起来，我们在CIFAR-10上无条件生成以及在高保真度生成1024px Celeba-HQ图像时获得的FID为2.20 ，初始得分为9.89 （以下示例）。另外，我们在均匀反量化的CIFAR-1

score_sde:通过随机微分方程式基于分数的生成建模的官方代码（ICLR 2021，口头）

04-01

通过随机微分方程的基于分数的生成建模此存储库包含论文的正式实现作者：，，，，和我们提出了一个统一的框架，该框架通过随机微分方程（SDE）的角度概括和改进了基于分数的生成模型的先前工作。特别是，我们可以使用SDE描述的连续时间随机过程将数据转换为简单的噪声分布。如果我们知道每个中间时间步的边际分布得分，则可以将其转换为样本生成，可以通过得分匹配进行估算。基本概念如下图所示：我们的工作可以更好地理解现有方法，新的采样算法，精确似然计算，唯一可识别的编码，潜在代码操作，并为家庭带来新的条件生成能力（包括但不限于类条件生成，修复和着色）基于分数的生成模型。综合起来，我们在CIFAR-10上无条件生成以及在高保真度生成1024px Celeba-HQ图像时获得的FID为2.20 ，初始得分为9.89 （以下示例）。另外，我们在均匀反量化的CIFAR-10图像上

手把手写深度学习(2)：用Generative score-based models生成手写数字

沉迷单车的追风少年

09-21

2148

作为和DDPM同宗同源的score-based models，虽然没能做到如此火爆，但是其中很多思想都被后来的研究者们借鉴，这篇博客就详细讲解score-based models代码，手把手带读者生成自己的MNIST。

【生成模型新方向】score-based generative models

zik的博客

04-06

1360

本文主要翻译自此领域先驱Song Yang博士(斯坦福大学博士)的博客。并且对于重要知识点给出了表格形式的整理汇总，方便记忆和理解！一言以蔽之：我们可以在大量噪声扰动的数据分布上（on a large number of noise-perturbed data distributions）学习得分函数score functions（对数概率密度函数的梯度gradients of log probability density functions），然后使用 Langevin 型采样生成样本。

【基于分数的模型与扩散模型的区别与联系】score-based generative models总结

zik的博客

04-06

1614

本篇博客介绍了基于分数的模型和扩散模型的联系与区别，并对基于分数的模型进行了总结和缺点分析。都给出了表格形式的总结。主要参考自Yang Song的博客【2】

Score-based diffusion models for accelerated MRI

通街是密人有的博客

10-25

2576

近年来，磁共振成像（MRI）的亚采样测量重建方法取得了很大进展。正则化重建方法利用手工制作的先验数据的稀疏性以及数据的一致性来得出解决方案（Donoho，2006），但先验的构造是十分重要的，并且没有一种方法能够正确地建模MRI扫描的实际复杂数据分布pdatap_{data}pdata。数据驱动的深度学习方法可以直接（Wang等人，2016）或间接（Oh等人，2020；Yaman等人，2020）训练模型，但这些方法严重依赖于精心策划的k空间数据大型数据库的监督，这很难获得。

Generative Modeling by Estimating Gradients of the Data Distribution(paper reading)

qq_43800752的博客

12-09

1725

扩散模型，分数生成模型。

score-based generative models【采样部分-代码实战】

zik的博客

03-31

547

本篇博客是[从DDPM到SDG：score-based generative models【公式推导+代码实战】](https://blog.csdn.net/qq_45934285/article/details/129837476?spm=1001.2014.3001.5501)的采样代码的模块。代码中包含丰富的注释，结合公式解析进行更全面的理解。

[SDE] Score-Based Generative Modeling through Stochastic Differential Equations

sinat_30618203的博客

04-10

756

扩散过程随时间进行（连续化）time-dependent神经网络估计score，用SDE求解反向生成过程。

score-based generative models (Yang Song) 笔记

m0_48064374的博客

05-24

2426

20220524 Yang Song’s blog 文章目录20220524方法方法 The score function, score-based models, and score matching Fisher divergence score：从当前 xxx 指向 p(x)p(x)p(x) 更大的方向联系 diffusion model：对当前 xxx 的噪声估计如何直接估计 gt score ？同 flow 讲，对 SθS_{\theta}Sθ 没有约束 Langevi

【2023.07.15】生成模型（三）Score-based Generative Models

FridaNN的博客

07-18

504

2）提供了两个针对求解reverse-time的SDE求解器：一个求解器将数值SDE求解器与score based MCMC方法相结合，另一个求解器主要基于probability flow ode。因此对于未知真实的score function 的情况需要使用其他采样方法如sliced-score matching。因此通过Markov Chain采样。直观的理解，模型在不常见的样本上可学习到的信号非常少，而学习到更多噪声。一，当x位于高维空间的低维流形上，目标的score function就难以求解。

基于梯度估计的生成式模型(1.原理篇)

m0_71304210的博客

03-24

880

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言个人理解1.介绍1.1 为什么使用分数模型？1.2 如何训练分数模型1.3 Langevin 动力学(用于采样)1.4简单的(朴素)基于分数生成的缺陷2.用多种噪声扰动+分数模型（改进）3.随机微分方程+分数模型(改进）3.1.使用 SDE作为噪声干扰数据3.2Reverse SDE生成样本3.3估计反向 SDE使用基于分数的模型和分数匹配3.4怎么解反向SDE3.5Probability flow ODE(改进)3.6可控生

NeurIPS 2021 | 通过动态图评分匹配预测分子构象

DrugAI

11-28

1233

从 2D 分子图中预测稳定的 3D 构象一直是计算化学中的一个长期挑战。而最近，机器学习方法取得了相比传统的实验和基于物理的模拟方法更优异的成绩。这些方法主要侧重于模拟分子图上相邻原子之间的局部相互作用，而忽略了非键合原子之间的长程相互作用。然而，这些未成键的原子在 3D 空间中可能彼此接近，模拟它们的相互作用对于准确确定分子构象至关重要，尤其是对于大分子和多分子复合物。在本文中，作者提出了一种称为动态图评分匹配 (DGSM) 的分子构象预测新方法，该方法通过在训练和推理过程中根据原子之间的...

score-based generative models代码

12-19

score-based generative models是一种基于评分的生成模型，它们利用梯度提升算法来生成样本。该模型的代码实现包括了对生成模型进行训练和优化的过程。在代码中，首先需要定义生成模型的架构，包括潜在变量的分布和生成器的结构。接下来，通过定义损失函数和优化器来训练生成模型，使其能够生成接近真实数据分布的样本。生成模型的代码实现中通常包括了梯度计算和优化过程，通过最小化损失函数来调整生成模型的参数，使得生成的样本尽可能逼近真实数据分布。此外，代码中还会包括一些额外的技巧和调整，例如正则化、学习率调度等，以提高生成模型的性能和稳定性。在编写score-based generative models代码时，需要充分理解模型的原理和算法，并结合实际数据集进行调试和优化。同时，考虑到生成模型的计算复杂性和训练稳定性，代码的实现也需要具备一定的工程性和实用性。总之，score-based generative models代码是一种复杂而有挑战性的任务，需要结合深度学习理论和实际编程技巧，以实现高效、稳定的生成模型。