【pytorch】MDN模型高斯分布概率计算的溢出问题

最新推荐文章于 2024-10-29 08:00:00 发布
最新推荐文章于 2024-10-29 08:00:00 发布
阅读量280 收藏
点赞数
文章标签： pytorch 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46177681/article/details/129829638
版权
文章讨论了MixtureDensityNetwork在处理5维输入1维输出时遇到的数值计算挑战，特别是由于exp函数导致的loss为inf和nan问题。作者采用了torch库的normal类和log_prob、logsumexp函数来确保计算的稳定性和准确性，并在GitHub上提交了相关issue及代码。
摘要由CSDN通过智能技术生成

MDN (Mixture Density Network) 神经网络可以用来拟合任意非线性的条件概率分布 P ( y ∣ x ) P(y|x) P(y∣x). 原理是输出定义的 K K K个高斯分布的 π , σ ,

最低0.47元/天 解锁文章
Zackberg
关注
【pytorch】正态分布（高斯分布）、Q函数、误差函数、互补误差函数
一起来学深度学习鸭的博客
10-28 943
则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正态分布，记作。这个函数可以看作是高斯分布函数的不定积分，如何相互转换见第5节的图6.2.时，称为标准正态分布。一般正态分布的分布函数。标准正态分布的分布函数。如下图是一般正态分布。如下图是标准整体分布。
论文阅读23 - Mixture Density Networks(MDN)混合密度网络理论分析
铁锹的填坑记录
11-14 7572
Mixture Density Networks 最近看论文经常会看到在模型中引入不确定性(Uncertainty)。尤其是MDN(Mixture Density Networks)在World Model这篇文章多次提到。之前只是了解了个大概。翻了翻原版论文和一些相关资料进行了整理。 1. 直观理解： 混合密度网络通常作为神经网络的最后处理部分。将某种分布（通常是高斯分布）按照一定的权重进行叠加，从而拟合最终的分布。 如果选择高斯分布的MDN，那么它和GMM（高斯混合模型 Gaussian Mixtu
MDN混合密度神经网络
当你努力到把自己都感动的时候，你离成功就不远了。
02-16 8122
原文地址：http://blog.otoro.net/2015/11/24/mixture-density-networks-with-tensorflow/ 假设我们用神经网络拟合这些数据，结果如下，效果不错。 But,只适用于1输入1输出（one-to-noe）,多输入1输出（many to one）的情况，如果我们将数据集倒转（invert）一下 我们看到训练的神经网络只会拟合这些数
混合密度网络Mixture Density Networks(MDN)
liangdaojun的博客
08-04 915
平方和或交叉熵误差函数的最小化导致网络输出近似目标数据的条件平均值，以输入向量为条件。对于分类问题，只要选择合适的目标编码方案，这些平均值表示类隶属度的后验概率，因此可以认为是最优的。然而，对于涉及连续变量预测的问题，条件平均只能对目标变量的性质提供非常有限的描述。对于要学习的映射是多值的问题尤其如此，就像反问题的解中经常出现的那样，因为几个正确目标值的平均值本身不一定是正确的值。为了获得数据的完整描述，为了预测与新输入向量对应的输出，我们必须对目标数据的条件概率分布进行建模，同样以输入向量为条件。
基于TensorFlow.Keras实现的混合密度模型（MDN）
Nothing
04-21 1969
Note 全文及代码参考自：混合密度模型Mixture Density Networks 原文对模型解释的很清楚，我就不再过多解释。 如需深入，建议学习高斯混合模型(GMM)。 原文的代码有些过时了，我精简了原始的代码，以MarkDown的形式展示在自己的博客里。 1 The Most Common Neural Network 1.1 Import Modules * TensorFlow ...
pytorch-mdn:PyTorch的混合物密度网络
04-03
pytorch-mdn 此回购包含的代码。 用法： import torch . nn as nn import torch . optim as optim import mdn # initialize the model model = nn . Sequential ( nn . Linear ( 5 , 6 ), nn . Tanh (), mdn . MDN ( 6 , 7 , 20 ) ) optimizer = optim . Adam ( model . parameters ()) # train the model for minibatch , labels in train_set : model . zero_grad () pi , sigma , mu = model ( minibatch ) loss
MDN混合密度神经网络 pytorch实现
A843151774的博客
05-13 2017
混合密度模型用于处理一个x对应于多个y的情况。本文参考https://blog.csdn.net/jianbinzheng/article/details/86555869，使用pytorch实现混合密度模型 首先讨论神经网络拟合1个x仅对应1个y的情况：y=7.0sin(0.75x)+0.5x+ϵy=7.0sin(0.75x)+0.5x+\epsilony=7.0sin(0.75x)+0.5x+ϵ, 其中ϵ\epsilonϵ为高斯噪声 造出训练数据 import matplotlib.pyplot as
扩散模型-基于Pytorch实现的去噪扩散概率模型-附项目源码-优质项目实战.zip
10-16
扩散模型_基于Pytorch实现的去噪扩散概率模型_附项目源码_优质项目实战
PyTorch实现Logistic回归对多元高斯分布进行分类实战（附源码）
showswoller的博客
11-09 860
PyTorch实现Logistic回归对多元高斯分布进行分类（附源码）
Graph Mixture Density Networks 图混合密度网络
stranger_Ss的博客
04-22 681
是一类新的机器学习模型，可以适应条件为任意拓扑图的多模态输出分布。通过结合混合模型和图表示学习的思想，我们解决了一类更广泛的依赖结构化数据的具有挑战性的条件密度估计问题。我们在一个利用随机图进行随机流行病模拟的新基准应用程序上评估了我们的方法，显示了我们的方法在建模输出预测不确定性方面的有效性。图混合密度网络为研究具有非平凡条件输出分布的结构相关现象提供了的研究机会。 以输入x为条件近似目标值y的分布是有监督学习任务的核心。已知有监督方法可以近似给定输入的目标的预期条件分布，即，当目标分布为单峰且目标值的
混合密度网络（MDN）进行多元回归详解和代码示例
deephub
02-19 5397
在本文中，首先简要解释一下 混合密度网络 MDN （Mixture Density Network）是什么，然后将使用Python 代码构建 MDN 模型，最后使用构建好的模型进行多元回归并测试效果。 回归 “回归预测建模是逼近从输入变量 (X) 到连续输出变量 (y) 的映射函数 (f) […] 回归问题需要预测具体的数值。 具有多个输入变量的问题通常被称为多元回归问题 例如，预测房屋价值，可能在 100,000 美元到 200,000 美元之间 这是另一个区分分类问题和回归问题的视觉解释如下： 另外一
用于分布和不确定性估计的混合密度网络：使用Keras（TensorFlow）进行分布和不确定性估计的通用混合密度网络（MDN）实现
02-06
用于分布和不确定性估计的混合密度网络：使用Keras（TensorFlow）进行分布和不确定性估计的通用混合密度网络（MDN）实现
使用Pytorch简单实现混合密度网络(Mixture Density Network, MDN)
xiongxyowo的博客
03-15 4409
本文主要参考自： https://github.com/sksq96/pytorch-mdn/blob/master/mdn.ipynb https://blog.otoro.net/2015/11/24/mixture-density-networks-with-tensorflow/?tdsourcetag=s_pctim_aiomsg 引言 我们知道，神经网络具有很强的拟合能力。比方说，假设我们要拟合如下一个带噪声的函数：y=7.0sin⁡(0.75x)+0.5x+ϵ y=7.0 \sin (0.75
MDN 文档对象模型 (DOM) - DOM概述
太阳火神的美丽人生
08-12 2192
在本文章中什么是 DOM?DOM 和 JavaScript如何访问 DOM?重要的数据类型DOM 接口接口及对象DOM中核心接口测试DOM API本节提供了一个简单的概念性的DOM介绍：DOM是什么, 它是如何组织 HTML 及 XML 文档，你要如何访问它，这个API提供了那些参考信息和实例。 什么是 DOM?文档对象模型 (DOM) 是HTML和XML文档的编程接口。它提供了对文档的结构化的表
torch学习（二） nn类结构-Module
xmdxcsj的专栏
10-21 1万+
Module |-Container    |-Sequential    |-Parallel    |-Concat       |-DepthConcat 安装使用torch以后，接下来就可以开始构建模型和训练了，在这之前，一定要先花半个小时的时间了解一下torch里面nn部分使用到的基本类型，否则容易混乱。 一、Module Module是神经网络的基本组成部分，作为一个抽
损失函数loss大总结
热门推荐
年轻即出发，
06-23 11万+
分类任务loss: 二分类交叉熵损失sigmoid_cross_entropy： TensorFlow 接口： tf.losses.sigmoid_cross_entropy( multi_class_labels, logits, weights=1.0, label_smoothing=0, scope=None, loss_c...
简易了解Pytorch中的@ 和 * 运算符（附Demo）
最新发布
码农研究僧的博客
10-29 356
在 PyTorch 中，@ 和 * 运算符用于不同类型的数学运算，具体是矩阵乘法和逐元素乘法
pytorch如何使用高斯混合模型
04-24
PyTorch 中使用高斯混合模型，可以使用 torch.distributions 中的 Normal 和 Categorical 分布来定义每个混合成分的参数，然后使用 torch.distributions.MixtureSameFamily 来构造混合模型分布。具体实现中，需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值