多分类问题下使用softmax进行归一化原因

参考：多类分类下为什么用softmax而不是用其他归一化方法_百度知道

先理解max

对一个三类问题，bai某样本经过NN处理后，du最后一层只输出值为[24,3,0.1]的话dao，那么经过zhuanmax之后的结果为[1,0,0]。对不？

至于为啥要max，输出结果本来挺奇怪，经过max以后就是categorical 的了，那么样本的类标就可以和他的预测值一起合体 直观地计算cost function。
我们最需要的其实是max，但是max有个缺点就是不可导，没法用在bp里，于是有人就想出了softmax。

思路就是：指数级扩大最后一层的输出，每个值都会增大，然而最大的那个值相比其他值扩大的更多，然后归一化一下，考虑一下极限，如果最大值x_1经过指数运算后想对其他值为无穷大，那么exp(x_1)/exp(x_1)+others =1,其他输出值对应的为0。所以softmax模拟了max的行为，同时他还可导。