Pytorch学习笔记

Pytorch学习笔记

供自己查阅方便

1.torch.LongTensor 与 torch.Tensor

torch.LongTensor 64位整数类型
torch.Tensor = torch.FloatTensor 32位浮点类型

2.Variable()

计算图中用到
（pytorch:动态图；tensorflow 1.X:静态图；2.X:动态图）
tensor不能反向传播；variable可以反向传播

3.log_softmax 与 softmax 区别

log_softmax可以解决函数 上溢、下溢 的问题（softmax会进行指数操作）
具体讲解可以参考log_softmax&softmax, nll_loss&nn.CrossEntropy

4.nll_loss 与 nn.CrossEntropy 区别

nll_loss(X, label) 输入试一个对数概率向量和一个目标标签，操作可以理解为这两个对应位置相乘求和后求负。
CrossEntropy 可以理解为 = log_softmax() + nll_loss()
参考