SoftMax函数，交叉熵损失函数与熵，对数似然函数

深度学习以及机器学习中都会用到SoftMax函数，交叉熵损失函数与熵，对数似然函数等一些数学方面的知识，此文作为个人学习笔记。

1.softmax函数

（1）定义

多分类问题中，我们可以使用SoftMax函数，对输出的值归一化为概率值，映射到（0，1）区间。

这里假设在进入softmax函数之前，已经有模型输出C值，其中C是要预测的类别数，模型可以是全连接网络的输出a，其输出个数为C，即输出为a1,a2,...,aC。

所以对每个样本，它属于类别ii的概率为： 

经过上式的运算之后，yi被归一化到了[0,1]区间，并且所有类别的yi之和为1.

（2)导数

对softmax函数进行求导，其中aj(j=1,2,..i,...C)是自变量，yi是因变量。实际上所求取的应当是yi对aj的偏导：