gumbel-softmax trick

VAE和GAN里面训练的时候常用的技巧，主要是为了解决那种预测是"hard"，即输出是一个one-hot的决策时，没有办法直接计算后续损失的情况。而使用softmax强制其输出为概率分布的话，虽然可以计算后续损失，但是其本质上还是argmax的含义。为了能够在模型决策训练的过程中引入一定的随机性(个人理解为决策的soft程度，而不是单纯的hard)，尤其是在Reinforce Learning里面，常用一个trick就是gumbel-softmax。其核心思想是利用gumbel分布进行采样，增加模型决策的随机性，使其决策空间更加平滑，同时该采样过程不在计算图中，因此后续求导依然可以进行。

具体而言，详见该博客：
Gumbel-Softmax Trick

该博客中，最关键的一句解释：“所以需要一种方法不仅选出动作，而且遵从概率的含义。而这就是gumbel-softmax所要解决的问题。”

此处“动作”指的就是最终的one-hot决策，而动作要遵从的“概率”指的就是gumbel distribution。