参考博客原文:softmax和cross-entropy是什么关系? - 董鑫的回答 - 知乎
https://www.zhihu.com/question/294679135/answer/885285177
softmax
softmax 的作用是把 一个序列,变成概率。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/9040e4d2d0456b01a4d2e294e44bf473.png)
他能够保证:
所有的值都是 [0, 1] 之间的(因为概率必须是 [0, 1])
所有的值加起来等于 1
softmax 就是soft版的Max
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/6e4f4ce711bbb1b5d79eb6b4aa386a45.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/7e19cc1bd87e6884f295842b9b182ff4.png)
cross-entropy
softmax 的升级,作用一致,但更稳定快捷。