softmax 简单讲解

1. softmax 的位置

softmax（软最大输出函数），可以将输入序列映射到 0-1 之间，且映射后的序列和为 1，这样就可以理解为，将输入序列转化为分别对应属于某些分类的概率，因此常常用来作为多分类任务中的激活函数，同时使用交叉熵作为损失函数。

2.  softmax函数及导数

softmax 函数 

softmax 求导时分两种情况：

当 i = j 时：

当 i ≠ j 时：

3. log_softmax() 函数

其实很好理解，就是softmax进行一次log运算。为什么要取log，我们在交叉熵这部分进行讲解。

softmax常常用来与交叉熵一起，作为神经网络多分类任务的损失函数，后续内容：必能读懂的 交叉熵详解，pytorch中交叉熵的使用