总说
下面主要摘自链接文章。
参考链接:
https://www.zhihu.com/question/62631725/answer/507940806
知道一个离散随机变量X的分布,
比如说p(X=1)=p1=0.2,p(X=2)=p2=0.3,p(X=3)=p2=0.5,然后我们想得到一些服从这个分布的离散的x的值。
但是,采样了之后都是离散值,没法对 p1, p2, p3求导,则神经网络中就没法 BP。这是因为,很多时候我们只是要x的期望,那么我们就是x=p1+2p2+3p3,x对p1,p2,p3的导数都很清楚,逆向传播很好实现。但是我们这里的需求是采样,要得到一些实际的x值,就像上面说的,不能求导的问题就来了。
思路:给出p1, p2, p3为参数的公式,比如 f(p1, p2, p3),同时呢,这个f(p1,p2,p3)返回的是x的采样。 因此,这个方法也叫做 reparameterization,因为重新参数化了概率分布。
gumbel-max技巧:
其中 g i = − l o g ( − l o g ( u i ) ) , u i ∼ U n i f o r m ( 0 , 1 ) g_i = -log(-log(u_i)), u_i \sim Uniform(0,1) gi=−log(−lo