Gumbel-Max trick或者reparameterization

总说

下面主要摘自链接文章。

参考链接：
https://www.zhihu.com/question/62631725/answer/507940806

知道一个离散随机变量X的分布，

比如说p(X=1)=p1=0.2,p(X=2)=p2=0.3,p(X=3)=p2=0.5，然后我们想得到一些服从这个分布的离散的x的值。

但是，采样了之后都是离散值，没法对 p1, p2, p3求导，则神经网络中就没法 BP。这是因为，很多时候我们只是要x的期望，那么我们就是x=p1+2p2+3p3，x对p1,p2,p3的导数都很清楚，逆向传播很好实现。但是我们这里的需求是采样，要得到一些实际的x值，就像上面说的，不能求导的问题就来了。

思路：给出p1, p2, p3为参数的公式，比如 f(p1, p2, p3)，同时呢，这个f(p1,p2,p3)返回的是x的采样。 因此，这个方法也叫做 reparameterization，因为重新参数化了概率分布。

gumbel-max技巧：

其中 $g_i=-log(-log$