Denoising Score Matching (DSM) 去噪得分匹配模型&变分推理(VAE)&退火郎之万动力学

已于 2023-10-09 17:03:14 修改
阅读量1k 收藏 8
点赞数 1
文章标签： 神经网络 机器学习
于 2023-10-09 11:52:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44708254/article/details/133698414
版权

Denoising Score Matching——DSM
有没有谁通俗的讲一下Denoising score matching?

Denoising Score Matching (DSM)
论文 << A Connection Between Score Matching and Denoising Autoencoders>>

作者是将denoising autoencoder和score mathching 联系在了一起，提出了 Denoising Score Matchine (DSM), 并且这个工作启发了后来的很多工作。

简单的说这个工作和score matching的区别是， score matching 中拟合的是原始数据的log 梯度，而 DSM中拟合的是加了噪声的数据的log 梯度， 从加噪声这点来看，和denoising autoencoder的做法很相似的。

这里我觉得这里重点是他为什么要在数据里加噪声，这里一个motivation 是和denoising autoencoder 里提的差不多，第二个是说原始score matching 里面如果数据不多的话，梯度估计的不准，那你后期在采样的时候，可能样本的质量就不太高，在数据上做点扰动，可以起到一定数据增广的效果，再一个这个噪声是你加的，你可以控制这个噪声的力度，也就是说你可以通过加噪声来控制生成的新数据和原数据的相似程度，这一点我觉得和DDPM里面的思想有些相似， 再一个我觉得很奇妙的是作者通过添加高斯噪声最后推导出一个新的公式，这个新的公式比原来的score matching的要好，后面会说明。

Score Matching——SM

得分匹配 Score Matching

最近，以宋博士为代表的研究者提出基于得分的概率生成模型在图像生成等领域取得佳绩，打破了一些主流生成模型（如，对抗生成模型-GAN，变分自编码器 -VAE，基于流的生成模型-Flow-based Genarative Model等）在生成领域的制霸权，引领了一波生成模型的研究热潮 (详情请参考宋博士博客Generative Modeling by Estimating Gradients of the Data Distribution)。

Yang Song (宋飏)

Solving Inverse Problems in Medical Imaging with Score-Based Generative Models

基于得分的概率生成模型最主要的思想是估计得分，而估计得分的主流方法得分匹配 (Score Matching) 早在2005年已经有研究者提出。因此，了解得分匹配的原理能够帮助理解和学习主流的生成模型。

变分推理

变分推理（variational inference）

变分推理是一种确定式的（deterministic）近似推理（approximate inference）方法。近似推理简单地说就是一种用来近似一个计算复杂（intractable）的分布或者至少获得目标分布的一些统计量（statistics）的方法。在深度学习应用，中比较有名的变分自编码器（VAE）的底层就基于变分推理。

变分推理的核心想法是，用一个更简单的，容易得到的分布 q(Z)来近似P(Z|X)，存在两个问题
1、q(Z)的形式是什么？
2、如何调整q(Z)的参数使其近似目标后验？

对于问题1，通常采用（几乎）可以近似任意分布的神经网络来表达 q(Z)

对于问题2，借鉴了物理学中的free-energy概念，在机器学习领域发展为证据下界(ELBO, evidence lower bound)。

退火郎之万动力学：

Diffusion Model | （三）Langevin dynamics

估计数据分布梯度：如何克服现有生成式模型的缺陷

将噪声大小作为输入的一部分，并估计数据被不同噪声扰动之后的目标函数，这就是条件计分函数模型。训练条件计分模型时，每个σ对应着一个单独的计分匹配目标函数。采样时先从噪声最大的分布开始，逐渐过渡到噪声小的部分。最终获得的最小样本就是条件计分函数模型的采样，这种采样方法被称为Annealed Langevin dynamics。
在这里插入图片描述

Dataloading...
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
2020-4-12 深度学习笔记18 - 直面配分函数 5 ( 去噪得分匹配，噪声对比估计NCE--绕开配分函数，估计配分函数)
weixin_42555985的博客
04-30 1086
第十八章 直面配分函数 Confronting the Partition Function 中文 英文 2020-4-8 深度学习笔记18 - 直面配分函数 1 ( 配分函数概念，对数似然梯度) 2020-4-9 深度学习笔记18 - 直面配分函数 2 ( 随机最大似然和对比散度-概率和似然) 2020-4-10 深度学习笔记18 - 直面配分函数 3 ( 伪似然–绕开配分函数) 2020-4-...
Score Matching推导，Denoising Score Matching推导
最新发布
weixin_40779727的博客
05-30 774
A Score Matching推导 不妨假定x\mathrm{x}x是ddd维的随机向量，即x∈Rd\mathrm{x}\in \mathbb{R}^dx∈Rd x=[x1,x2,⋯ ,xd]T,sθ(x)=[s1(x;θ),s2(x;θ),⋯ ,sd(x;θ)]T(A.1) \boldsymbol {\mathrm{x}} = [x_1, x_2, \cdots, x_d]^T, \quad s_{\theta}(\boldsymbol {\mathrm{x}}) = [s_1(\mathrm{x;
【2023.07.15】生成模型（三）Score-based Generative Models
FridaNN的博客
07-18 432
2）提供了两个针对求解reverse-time的SDE求解器：一个求解器将数值SDE求解器与score based MCMC方法相结合，另一个求解器主要基于probability flow ode。因此对于未知真实的score function 的情况需要使用其他采样方法如sliced-score matching。因此通过Markov Chain采样。直观的理解，模型在不常见的样本上可学习到的信号非常少，而学习到更多噪声。一，当x位于高维空间的低维流形上，目标的score function就难以求解。
扩散模型NCSN，使用分数匹配的生成模型，Generative Modeling by Estimating Gradients of the Data Distribution
vergilben的学习日记
05-10 1159
这是因为在环境空间中的大部分区域（非流形区域）可能根本没有数据点，因此在这些区域内无法有效地计算得分。分数匹配在这种情况下将无法提供一致的分数估计，因为它依赖于整个空间中数据的存在。举个例子，给定一个由一些特定形状或模式的点组成的数据集，如果所有的点都紧密地分布在一条细长的线上（所谓的“低维流形”），那么在这条线上的点，我们可以很好地估计他们的“得分”（数据点在数据分布中的梯度），类似于在山脉中找到最高点的路径。
第二十六天：Denoising Diffusion Probabilistic Models（DDPM）
weixin_44907625的博客
12-17 893
DDPM
Score matching
weixin_39699362的博客
03-04 1019
Score matching 是一种用于估计概率模型参数的技术，由 Aapo Hyvärinen 在 2005 年提出，主要用于那些概率密度函数难以归一化的情况。在许多概率模型中，确切计算模型的归一化常数是不可行的，因为它涉及到整个数据空间的积分或求和，这在高维数据中尤其困难。Score matching 为这类模型提供了一种有效的估计参数的方式。
Generative Modeling by Estimating Gradients of the Data Distribution
MTandHJ的博客
12-15 4299
文章目录概主要内容Langevin dynamicsScore MatchingDenoising Score MatchingNoise Conditional Score NetworksSlow mixing of Langevin dynamics损失函数Annealed Langevin dynamics细节代码 [Song Y. and Ermon S. Generative modeling by estimating gradients of the data distribution.
ROFdenoise.rar_ROF Denoising_ROF去噪_matlab ROF_rof_rof模型去噪
09-21
ROF（Total Variation Denoising，全变分去噪）模型，也称为 Rudin-Osher-Fatemi 模型，是由Rudin、Osher和Fatemi在1992年提出的。这个模型主要用于图像处理领域，尤其是图像去噪。ROF模型基于图像的总变分（Total ...
PCA&SVD_Denoising.rar_PCA 去噪_SVD PCA 去噪_pca denoising_数据去噪_ＰＣＡ去噪
07-15
PCA（主成分分析）与SVD（奇异值分解）是两种在数据分析和机器学习领域广泛应用的线性降维方法，它们在数据预处理，特别是去噪方面有着显著的效果。本项目通过PCA和SVD实现数据去噪，旨在利用数据的主要特征向量来...
denoising.rar_denoising_彩色图像去噪_领域去噪
07-13
例如，块匹配（Block-Matching）技术就是一种领域去噪方法，通过比较和整合邻近像素块来减少噪声。领域去噪可以有效地保留图像边缘和细节，同时去除噪声，因为它更注重保持图像的结构一致性。 在提供的压缩文件 "2_...
DeNoising.rar_denoising_小波去噪
07-14
这个名为"DeNoising.rar_denoising_小波去噪"的压缩包文件包含了针对噪声去除的相关算法，适用于Windows 2000和XP操作系统。下面我们将深入探讨小波去噪的基本原理、常见算法以及其在实际应用中的重要性。 小波去噪...
深度学习神经网络(英文版PDF教程）
04-14
书的目录 Contents Website viii Acknowledgments ix Notation xiii 1 Introduction 1 1.1 Who Should Read This Book? . . . . . . . . . . . . . . . . . . . . 8 1.2 Historical Trends in Deep Learning . . . . . . . . . . . . . . . . . 12 I Applied Math and Machine Learning Basics 27 2 Linear Algebra 29 2.1 Scalars, Vectors, Matrices and Tensors . . . . . . . . . . . . . . . 29 2.2 Multiplying Matrices and Vectors . . . . . . . . . . . . . . . . . . 32 2.3 Identity and Inverse Matrices . . . . . . . . . . . . . . . . . . . . 34 2.4 Linear Dependence and Span . . . . . . . . . . . . . . . . . . . . 35 2.5 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.6 Special Kinds of Matrices and Vectors . . . . . . . . . . . . . . . 38 2.7 Eigendecomposition . . . . . . . . . . . . . . . . . . . . . . . . . . 40 2.8 Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . 42 2.9 The Moore-Penrose Pseudoinverse . . . . . . . . . . . . . . . . . . 43 2.10 The Trace Operator . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.11 The Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 2.12 Example: Principal Components Analysis . . . . . . . . . . . . . 45 3 Probability and Information Theory 51 3.1 Why Probability? . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 i CONTENTS 3.2 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.3 Probability Distributions . . . . . . . . . . . . . . . . . . . . . . . 54 3.4 Marginal Probability . . . . . . . . . . . . . . . . . . . . . . . . . 56 3.5 Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . 57 3.6 The Chain Rule of Conditional Probabilities . . . . . . . . . . . . 57 3.7 Independence and Conditional Independence . . . . . . . . . . . . 58 3.8 Expectation, Variance and Covariance . . . . . . . . . . . . . . . 58 3.9 Common Probability Distributions . . . . . . . . . . . . . . . . . 60 3.10 Useful Properties of Common Functions . . . . . . . . . . . . . . 65 3.11 Bayes’ Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 3.12 Technical Details of Continuous Variables . . . . . . . . . . . . . 69 3.13 Information Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.14 Structured Probabilistic Models . . . . . . . . . . . . . . . . . . . 73 4 Numerical Computation 78 4.1 Overflow and Underflow . . . . . . . . . . . . . . . . . . . . . . . 78 4.2 Poor Conditioning . . . . . . . . . . . . . . . . . . . . . . . . . . 80 4.3 Gradient-Based Optimization . . . . . . . . . . . . . . . . . . . . 80 4.4 Constrained Optimization . . . . . . . . . . . . . . . . . . . . . . 91 4.5 Example: Linear Least Squares . . . . . . . . . . . . . . . . . . . 94 5 Machine Learning Basics 96 5.1 Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.2 Capacity, Overfitting and Underfitting . . . . . . . . . . . . . . . 108 5.3 Hyperparameters and Validation Sets . . . . . . . . . . . . . . . . 118 5.4 Estimators, Bias and Variance . . . . . . . . . . . . . . . . . . . . 120 5.5 Maximum Likelihood Estimation . . . . . . . . . . . . . . . . . . 129 5.6 Bayesian Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . 133 5.7 Supervised Learning Algorithms . . . . . . . . . . . . . . . . . . . 137 5.8 Unsupervised Learning Algorithms . . . . . . . . . . . . . . . . . 142 5.9 Stochastic Gradient Descent . . . . . . . . . . . . . . . . . . . . . 149 5.10 Building a Machine Learning Algorithm . . . . . . . . . . . . . . 151 5.11 Challenges Motivating Deep Learning . . . . . . . . . . . . . . . . 152 II Deep Networks: Modern Practices 162 6 Deep Feedforward Networks 164 6.1 Example: Learning XOR . . . . . . . . . . . . . . . . . . . . . . . 167 6.2 Gradient-Based Learning . . . . . . . . . . . . . . . . . . . . . . . 172 ii CONTENTS 6.3 Hidden Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 6.4 Architecture Design . . . . . . . . . . . . . . . . . . . . . . . . . . 193 6.5 Back-Propagation and Other Differentiation Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 6.6 Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220 7 Regularization for Deep Learning 224 7.1 Parameter Norm Penalties . . . . . . . . . . . . . . . . . . . . . . 226 7.2 Norm Penalties as Constrained Optimization . . . . . . . . . . . . 233 7.3 Regularization and Under-Constrained Problems . . . . . . . . . 235 7.4 Dataset Augmentation . . . . . . . . . . . . . . . . . . . . . . . . 236 7.5 Noise Robustness . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 7.6 Semi-Supervised Learning . . . . . . . . . . . . . . . . . . . . . . 240 7.7 Multitask Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 241 7.8 Early Stopping . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 7.9 Parameter Tying and Parameter Sharing . . . . . . . . . . . . . . 249 7.10 Sparse Representations . . . . . . . . . . . . . . . . . . . . . . . . 251 7.11 Bagging and Other Ensemble Methods . . . . . . . . . . . . . . . 253 7.12 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 7.13 Adversarial Training . . . . . . . . . . . . . . . . . . . . . . . . . 265 7.14 Tangent Distance, Tangent Prop and Manifold Tangent Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 8 Optimization for Training Deep Models 271 8.1 How Learning Differs from Pure Optimization . . . . . . . . . . . 272 8.2 Challenges in Neural Network Optimization . . . . . . . . . . . . 279 8.3 Basic Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.4 Parameter Initialization Strategies . . . . . . . . . . . . . . . . . 296 8.5 Algorithms with Adaptive Learning Rates . . . . . . . . . . . . . 302 8.6 Approximate Second-Order Methods . . . . . . . . . . . . . . . . 307 8.7 Optimization Strategies and Meta-Algorithms . . . . . . . . . . . 313 9 Convolutional Networks 326 9.1 The Convolution Operation . . . . . . . . . . . . . . . . . . . . . 327 9.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 9.3 Pooling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 9.4 Convolution and Pooling as an Infinitely Strong Prior . . . . . . . 339 9.5 Variants of the Basic Convolution Function . . . . . . . . . . . . 342 9.6 Structured Outputs . . . . . . . . . . . . . . . . . . . . . . . . . . 352 9.7 Data Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 iii CONTENTS 9.8 Efficient Convolution Algorithms . . . . . . . . . . . . . . . . . . 356 9.9 Random or Unsupervised Features . . . . . . . . . . . . . . . . . 356 9.10 The Neuroscientific Basis for Convolutional Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358 9.11 Convolutional Networks and the History of Deep Learning . . . . 365 10 Sequence Modeling: Recurrent and Recursive Nets 367 10.1 Unfolding Computational Graphs . . . . . . . . . . . . . . . . . . 369 10.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . . . 372 10.3 Bidirectional RNNs . . . . . . . . . . . . . . . . . . . . . . . . . . 388 10.4 Encoder-Decoder Sequence-to-Sequence Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390 10.5 Deep Recurrent Networks . . . . . . . . . . . . . . . . . . . . . . 392 10.6 Recursive Neural Networks . . . . . . . . . . . . . . . . . . . . . . 394 10.7 The Challenge of Long-Term Dependencies . . . . . . . . . . . . . 396 10.8 Echo State Networks . . . . . . . . . . . . . . . . . . . . . . . . . 399 10.9 Leaky Units and Other Strategies for Multiple Time Scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402 10.10 The Long Short-Term Memory and Other Gated RNNs . . . . . . 404 10.11 Optimization for Long-Term Dependencies . . . . . . . . . . . . . 408 10.12 Explicit Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . 412 11 Practical Methodology 416 11.1 Performance Metrics . . . . . . . . . . . . . . . . . . . . . . . . . 417 11.2 Default Baseline Models . . . . . . . . . . . . . . . . . . . . . . . 420 11.3 Determining Whether to Gather More Data . . . . . . . . . . . . 421 11.4 Selecting Hyperparameters . . . . . . . . . . . . . . . . . . . . . . 422 11.5 Debugging Strategies . . . . . . . . . . . . . . . . . . . . . . . . . 431 11.6 Example: Multi-Digit Number Recognition . . . . . . . . . . . . . 435 12 Applications 438 12.1 Large-Scale Deep Learning . . . . . . . . . . . . . . . . . . . . . . 438 12.2 Computer Vision . . . . . . . . . . . . . . . . . . . . . . . . . . . 447 12.3 Speech Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . 453 12.4 Natural Language Processing . . . . . . . . . . . . . . . . . . . . 456 12.5 Other Applications . . . . . . . . . . . . . . . . . . . . . . . . . . 473 iv CONTENTS III Deep Learning Research 482 13 Linear Factor Models 485 13.1 Probabilistic PCA and Factor Analysis . . . . . . . . . . . . . . . 486 13.2 Independent Component Analysis (ICA) . . . . . . . . . . . . . . 487 13.3 Slow Feature Analysis . . . . . . . . . . . . . . . . . . . . . . . . 489 13.4 Sparse Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492 13.5 Manifold Interpretation of PCA . . . . . . . . . . . . . . . . . . . 496 14 Autoencoders 499 14.1 Undercomplete Autoencoders . . . . . . . . . . . . . . . . . . . . 500 14.2 Regularized Autoencoders . . . . . . . . . . . . . . . . . . . . . . 501 14.3 Representational Power, Layer Size and Depth . . . . . . . . . . . 505 14.4 Stochastic Encoders and Decoders . . . . . . . . . . . . . . . . . . 506 14.5 Denoising Autoencoders . . . . . . . . . . . . . . . . . . . . . . . 507 14.6 Learning Manifolds with Autoencoders . . . . . . . . . . . . . . . 513 14.7 Contractive Autoencoders . . . . . . . . . . . . . . . . . . . . . . 518 14.8 Predictive Sparse Decomposition . . . . . . . . . . . . . . . . . . 521 14.9 Applications of Autoencoders . . . . . . . . . . . . . . . . . . . . 522 15 Representation Learning 524 15.1 Greedy Layer-Wise Unsupervised Pretraining . . . . . . . . . . . 526 15.2 Transfer Learning and Domain Adaptation . . . . . . . . . . . . . 534 15.3 Semi-Supervised Disentangling of Causal Factors . . . . . . . . . 539 15.4 Distributed Representation . . . . . . . . . . . . . . . . . . . . . . 544 15.5 Exponential Gains from Depth . . . . . . . . . . . . . . . . . . . 550 15.6 Providing Clues to Discover Underlying Causes . . . . . . . . . . 552 16 Structured Probabilistic Models for Deep Learning 555 16.1 The Challenge of Unstructured Modeling . . . . . . . . . . . . . . 556 16.2 Using Graphs to Describe Model Structure . . . . . . . . . . . . . 560 16.3 Sampling from Graphical Models . . . . . . . . . . . . . . . . . . 577 16.4 Advantages of Structured Modeling . . . . . . . . . . . . . . . . . 579 16.5 Learning about Dependencies . . . . . . . . . . . . . . . . . . . . 579 16.6 Inference and Approximate Inference . . . . . . . . . . . . . . . . 580 16.7 The Deep Learning Approach to Structured Probabilistic Models . . . . . . . . . . . . . . . . . . . . . . . . . 581 17 Monte Carlo Methods 587 17.1 Sampling and Monte Carlo Methods . . . . . . . . . . . . . . . . 587 v CONTENTS 17.2 Importance Sampling . . . . . . . . . . . . . . . . . . . . . . . . . 589 17.3 Markov Chain Monte Carlo Methods . . . . . . . . . . . . . . . . 592 17.4 Gibbs Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596 17.5 The Challenge of Mixing between Separated Modes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597 18 Confronting the Partition Function 603 18.1 The Log-Likelihood Gradient . . . . . . . . . . . . . . . . . . . . 604 18.2 Stochastic Maximum Likelihood and Contrastive Divergence . . . 605 18.3 Pseudolikelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . 613 18.4 Score Matching and Ratio Matching . . . . . . . . . . . . . . . . 615 18.5 Denoising Score Matching . . . . . . . . . . . . . . . . . . . . . . 617 18.6 Noise-Contrastive Estimation . . . . . . . . . . . . . . . . . . . . 618 18.7 Estimating the Partition Function . . . . . . . . . . . . . . . . . . 621 19 Approximate Inference 629 19.1 Inference as Optimization . . . . . . . . . . . . . . . . . . . . . . 631 19.2 Expectation Maximization . . . . . . . . . . . . . . . . . . . . . . 632 19.3 MAP Inference and Sparse Coding . . . . . . . . . . . . . . . . . 633 19.4 Variational Inference and Learning . . . . . . . . . . . . . . . . . 636 19.5 Learned Approximate Inference . . . . . . . . . . . . . . . . . . . 648 20 Deep Generative Models 651 20.1 Boltzmann Machines . . . . . . . . . . . . . . . . . . . . . . . . . 651 20.2 Restricted Boltzmann Machines . . . . . . . . . . . . . . . . . . . 653 20.3 Deep Belief Networks . . . . . . . . . . . . . . . . . . . . . . . . . 657 20.4 Deep Boltzmann Machines . . . . . . . . . . . . . . . . . . . . . . 660 20.5 Boltzmann Machines for Real-Valued Data . . . . . . . . . . . . . 673 20.6 Convolutional Boltzmann Machines . . . . . . . . . . . . . . . . . 679 20.7 Boltzmann Machines for Structured or Sequential Outputs . . . . 681 20.8 Other Boltzmann Machines . . . . . . . . . . . . . . . . . . . . . 683 20.9 Back-Propagation through Random Operations . . . . . . . . . . 684 20.10 Directed Generative Nets . . . . . . . . . . . . . . . . . . . . . . . 688 20.11 Drawing Samples from Autoencoders . . . . . . . . . . . . . . . . 707 20.12 Generative Stochastic Networks . . . . . . . . . . . . . . . . . . . 710 20.13 Other Generation Schemes . . . . . . . . . . . . . . . . . . . . . . 712 20.14 Evaluating Generative Models . . . . . . . . . . . . . . . . . . . . 713 20.15 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716 Bibliography 717 vi CONTENTS Index 774
Image-denoising.rar_image denoising_数字图像 去噪
09-19
本压缩包“Image-denoising.rar”聚焦于数字图像去噪这一主题，利用MATLAB这一强大的计算平台进行实践操作。下面将详细介绍数字图像去噪的基本概念、常用方法以及MATLAB在图像去噪中的应用。 1. **数字图像去噪的...
花书读书笔记（十七）-直面配分函数
scu-liu的博客
01-31 326
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 《深度学习》PDF免费下载：《深度学习》 老规矩，先贴文章，里面有直达b站大佬的视频链接：白板推导系列笔记（二十四）-直面配分函数，他主要讲的是前面的，还挺细，看看书再看看他讲，挺好的。 一、对数似然梯度 二、随机最大似然和对比散度 前两节就直接看上面的那个文章吧~ 三、伪似然 蒙特卡罗近似配分函数及其梯度需要直接处理配分函数。有些其他方法通过训练不需要计算配分函数的模型来绕开这个问题。这些方法大多数都基于以下观察：无向概率模型中很容易计算概率的比率。这是
[论文笔记&随手] Training with Weighted Sum of Denoising Score Matching Objectives
有关我的科研的足迹、算法竞赛的日子、生活记录。
03-03 520
[note] Training with Weighted Sum of Denoising Score Matching Objectives 利用 去噪分数匹配目标的加权和 进行训练，去噪指的是使用sde的方法就不需要自行补充噪声了。 本文的目的是解释如何对原始数据进行扰动。 from https://yang-song.github.io/blog/2021/score/ 一、理论 首先，挑选一个随机过程（SDE）对原始数据分布p0p_0p0​进行扰动得到扰动后数据的概率密度分布ptp_tpt​。
Generative Modeling by Estimating Gradients of the Data Distribution(paper reading)
qq_43800752的博客
12-09 1503
扩散模型，分数生成模型。
Denosing score matching (公式+代码)
weixin_40248634的博客
07-11 266
详细的解释(强推)：https://zhuanlan.zhihu.com/p/597490389。
近期深度学习论文汇总
weixin_30596735的博客
02-08 218
主要是顺着Bengio的PAMI review的文章找出来的。包括几本综述文章，将近100篇论文，各位山头们的Presentation。全部都可以在google上找到。 BTW：由于我对视觉尤其是检测识别比较感兴趣，所以关于DL的应用主要都是跟Vision相关的。在其他方面比如语音或者NLP，很少或者几乎没有。个人非常看好CNN和Sparse Autoencoder，这个list也反映了我的偏好...
ICLR 2020：从去噪自编码器到生成模型
Paper weekly
11-26 943
作者丨苏剑林单位丨追一科技研究方向丨NLP，神经网络个人主页丨kexue.fm在我看来，几大顶会之中，ICLR 的论文通常是最有意思的，因为它们的选题和风格基本上都比较轻...
总变分模型图像去噪
05-24
总变分模型（Total Variation Model）是一种常用于图像去噪的技术。在这种模型中，我们希望得到一个干净的图像 $u$，它是由一个带有噪声的图像 $f$ 经过最小化总变分（Total Variation）的过程得到的。总变分定义为： $$\text{TV}(u)=\int_{\Omega}|\nabla u(x)|\,\mathrm{d}x$$ 其中 $\nabla u$ 表示 $u$ 的梯度，$\Omega$ 表示图像的整个域。 我们希望最小化如下的能量函数： $$E(u)=\frac{1}{2}\int_{\Omega}(u-f)^2\,\mathrm{d}x+\lambda\int_{\Omega}|\nabla u(x)|\,\mathrm{d}x$$ 其中第一项是数据项，第二项是正则化项，$\lambda$ 是一个正则化参数。 最小化上述能量函数可以使用梯度下降等优化算法求解。下面是一个简单的总变分模型图像去噪的 Python 实现代码： ```python import cv2 import numpy as np def TV_denoising(img, lambda_=0.1, niters=100): """ 图像去噪 """ u = np.float32(img.copy()) px = np.zeros_like(u) py = np.zeros_like(u) tau = 0.25 lam = lambda_ for i in range(niters): u_old = u # 梯度计算 grad_u = cv2.Sobel(u, cv2.CV_32F, 1, 1) px_new = px + lam * grad_u py_new = py + lam * grad_u # 投影运算 norm = np.maximum(1, np.sqrt(px_new**2 + py_new**2)) px = px_new / norm py = py_new / norm # 拉普拉斯计算 div_p = cv2.Sobel(px, cv2.CV_32F, 1, 0) + cv2.Sobel(py, cv2.CV_32F, 0, 1) u = u_old + tau * (cv2.Laplacian(u_old, cv2.CV_32F) - div_p) return u ``` 该函数的输入参数为需要去噪的图像、正则化参数 $\lambda$ 和迭代次数。函数使用了梯度下降法求解能量函数的最小值，最后返回去噪后的图像。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dataloading...

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值