神经网络 -- Softmax以及Cross entropy（交叉熵）

softmax和cross entropy都是神经网络中重要的函数。而且都有着广泛的应用。
softmax之所以称为“soft”是由于它不像one-hot中的值，只有0或者1。
softmax会将输入的值依据大小，映射成(0,1)之间的概率分布。所以这些值相加的和为1。
因此，hot-one不可导，softmax是可求导的。
softmax的计算公式为

其中，表示数组V中的第i个元素的值。
cross entropy交叉熵与softmax有着密切的关系，将上面的softmax的公式稍加修改就能得到交叉熵的计算公式。

其中，log的底数可变，且在变化的同时，熵的单位也会随之变化。
由于的值在(0,1)，因此当