nn.Softmax()与nn.LogSoftmax()与F.softmax(）

nn.Softmax()与nn.LogSoftmax()与F.softmax(）

nn.Softmax()
计算出来的值，其和为1，也就是输出的是概率分布，具体公式如下：

这保证输出值都大于0，在0,1范围内。

nn.LogSoftmax()
公式如下：

由于softmax输出都是0-1之间的，因此logsofmax输出的是小于0的数，
softmax求导：

logsofmax求导：

例子：

import torch.nn as nn
import torch
import numpy as np
layer1=nn.Softmax()
layer2=nn.LogSoftmax()
 
input=np.asarray([2,3])
input