一些需要注意的细节

1.离散采样不可导问题，使用gumbel采样方式将不可导部分拉出计算图

细节做法https://www.cnblogs.com/initial-h/p/9468974.html

2.关于NLLloss和cross entropy loss 的关系和区别

cross中是计算概率模型输出的概率p和真实的分布之间的交叉熵，NLL是直接求负对数似然，如果交叉熵的使用的概率p是使用softmax 计算的，softmaxloss等价于交叉熵损失，也就是相当于logsoftmax后面加上NLL的操作就是交叉熵的损失。

转载于:https://www.cnblogs.com/wb-learn/p/11463538.html