Gumbel-Softmax Trick和Gumbel分布

最新推荐文章于 2024-06-19 15:11:44 发布
最新推荐文章于 2024-06-19 15:11:44 发布
阅读量1.3k 收藏
点赞数
分类专栏： 深度生成模型笔记

看这里：www.cnblogs.com/initial-h/p/9468974.html

catbird233
关注
专栏目录
Gumbel-Softmax trick
UglyDuckling_16的博客
10-23 1910
Gumbel-Softmax 是一种可导采样技巧，它可以用来对离散分布进行重参数采样。与softmax区别是，gumbel-softmax得到得是样本（即采样,对于神经网络，离散输入常转化为one-hot形式，采样出来的样本是经soft后one-hot向量[x1,x2,...,xn][x_1,x_2,...,x_n][x1​,x2​,...,xn​]），而softmax得到是样本得均值（即各分类概率,[p1,p2,...,pn][p_1,p_2,...,p_n][p1​,p2​,...,pn​]）。 假设每
Gumbel-Max trick或者reparameterization
Hungryof的专栏
06-01 824
总说 下面主要摘自链接文章。 参考链接： https://www.zhihu.com/question/62631725/answer/507940806 知道一个离散随机变量X的分布， 比如说p(X=1)=p1=0.2,p(X=2)=p2=0.3,p(X=3)=p2=0.5，然后我们想得到一些服从这个分布的离散的x的值。 但是，采样了之后都是离散值，没法对 p1, p2, p3求导，则神经网络中就没法 BP。这是因为，很多时候我们只是要x的期望，那么我们就是x=p1+2p2+3p3，x对p1,p2,p3的
gumbel-softmax trick
weixin_43301333的博客
12-07 952
VAE和GAN里面训练的时候常用的技巧，主要是为了解决那种预测是"hard"，即输出是一个one-hot的决策时，没有办法直接计算后续损失的情况。而使用softmax强制其输出为概率分布的话，虽然可以计算后续损失，但是其本质上还是argmax的含义。为了能够在模型决策训练的过程中引入一定的随机性(个人理解为决策的soft程度，而不是单纯的hard)，尤其是在Reinforce Learning里面，常用一个trick就是gumbel-softmax。其核心思想是利用gumbel分布进行采样，增加模型决策的随
Gumbel Softmax Trick
LittleSeedling的博客
07-26 590
Gumbel Softmax Trick
【ML】Gumbel Softmax Trick
Esperanto.的博客
12-20 336
Gumbel softmax and reparamaterize
gumbel–softmax
09-02
它通过引入Gumbel分布和Softmax函数的组合来实现。在深度学习中，我们通常使用Softmax函数来将连续变量转化为概率分布。然而，Softmax函数不能直接用于离散采样，因为它产生的概率分布是平滑的，而不是离散的。 ...
gumbel softmax和softmax区别
11-22
Gumbel Softmax和Softmax都是用于多分类问题的概率分布函数，它们的区别在于Gumbel Softmax使用了Gumbel-Max Trick来进行采样，从而使得模型可以进行端到端的训练。具体来说，Gumbel Softmax是通过对Softmax函数的...
Gumbel-Softmax Trick和Gumbel分布 附VAE讲解
Beryl的博客
10-26 2936
转自https://www.cnblogs.com/initial-h/p/9468974.html 写的非常好，思路清晰，顺带连VAE trick也讲了 之前看MADDPG论文的时候，作者提到在离散的信息交流环境中，使用了Gumbel-Softmax estimator。于是去搜了一下，发现该技巧应用甚广，如深度学习中的各种GAN、强化学习中的A2C和MADDPG算法等等。只要涉及在离散分布上运用重参数技巧时(re-parameterization)，都可以试试Gumbel-Softmax Trick。
Gumbel softmax trick pytorch（快速理解附代码）
bagba的知识分享库
01-03 5749
在深度学习中，对某一个离散随机变量X进行采样，并且又要保证采样过程是可导的（因为要用梯度下降进行权重更新），那么就可以用Gumbel softmax trick。属于重参数技巧(re-parameterization)的一种。 首先我们要介绍，什么是Gumbel distribution，然后再介绍怎么用到梯度下降中，最后是用pytorch实现它。
Gumbel-Softmax简介
qq_44733706的博客
08-07 3009
Gumbel softmax：解决了采样于计算图的分离问题。
什么是Gumbel-Softmax 分布
最新发布
weixin_43808402的博客
06-19 281
Gumbel-Softmax 分布在深度学习中广泛应用，特别是在生成模型中，如变分自编码器、生成对抗网络等。Gumbel-Softmax 分布是将 Gumbel 分布和 Softmax 函数结合起来的一种分布。通过在 Gumbel 分布采样后应用 Softmax 函数，可以生成离散型变量的概率分布。Gumbel 分布是一种连续概率分布，用于模拟离散型变量的采样。Gumbel-Softmax 分布是一种用于生成离散型变量的概率分布。Gumbel 分布主要用于模拟极值分布，通常用于模拟极端事件的发生概率。
通俗易懂地理解Gumbel Softmax
小白学视觉
01-10 3286
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨wwdok@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/633431594编辑丨极市平台极市导读全面详解gumbel softmax。前言我在学习《CLIP 改进工作串讲（上）【论文精读·42】》的过程中，听到朱老师讲到了GroupViT中用到了gumbel softmax（相关源代码）...
Gumbel Softmax
whaosoft143ai的博客
06-04 3415
那为什么随机部分要用gumbel分布而不是常见的高斯分布呢? 这是因为gumbel分布是专门用来建模从其他分布 (比如高斯分布) 采样出来的极值形成的分布, 而我们这里“使用argmax挑出概率最大的那个类别索引 "就属于取极值的操作, 所以它属于极值分布。在此之前, 你可能想都不敢想, 极值形成的分布竞然是有规律的, 可的确就是有这么神奇的存在, 这就是数学的魅力所在, 但是要加个条件, 就是极值是采样自某一个指数族的概率分布, 比如高斯分布。 下面我们用一个例子和代码来验证一下这个极值分布的规律。假
Gumbel-Softmax
f9547064141的博客
08-17 928
带你认识神奇的Gumbel trick
热门推荐
Jie Qiao的专栏
06-26 1万+
The Gumbel soft-max 这是一种重参数化的trick，通过加一个恒定的噪声从而实现采样。如上图例子，首先有logα1log⁡α1\log \alpha_1 然后加上一个gumbel noise G1，最后取最大值，就是我们要的样本。这个过程可以形式化为，设X是离散随机分布P(X=k)∝αkP(X=k)∝αkP(X=k)\propto \alpha_k , 设{Gk}k≤K...
gumbel-softmax(替代argmax)
hxxjxw的博客
09-14 2703
gumbel-softmax(替代argmax)
Gumbel-Softmax完全解析
mathor的博客
11-16 3618
本文对大部分人来说可能仅仅起到科普的作用，因为Gumbel-Max仅在部分领域会用到，例如GAN、VAE等。笔者是在研究EMNLP上的一篇论文时，看到其中有用Gumbel-Softmax公式解决对一个概率分布进行采样无法求导的问题，故想到对Gumbel-Softmax做一个总结，由此写下本文整个过程相当于我们把不可导的取样过程，从z\mathbf{z}z本身转移到了求z\mathbf{z}z的公式中的一项gig_igi​中，而gig_igi​本身不依赖p1,..,p。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值