深度学习：softmax激活实现多元分类

简单来讲，对于一个输入向量$z^{[l]}$，在softmax函数中会进行如下计算：
$$\begin{gathered} t^{[l]}=\exp (z^{[l]}) \\ {a}^{[l]}=\frac{t^{[l]}}{{\sum }_{i=1}^{n^{[l]}}{t}_i^{[l]}} \end{gathered}$$即把输入值作为指数，然后归一化，使输出向量所有元素之和为1，将元素的数值作为属于对应类别的概率，取最大值索引就是我们认为输入属于的类别。

如果不添加隐藏层，softmax函数构造的就是一个线性的多元分类边界：

这样不加隐藏层的模型也被称为softmax回归，是逻辑回归从二元到多元的推广。

若把softmax放在深度神经网络的输出层作为激活函数，就可以得到一个拥有复杂边界的多元分类器。

softmax的损失函数为
$$\mathcal{L}(\hat{y},y)=-\sum _{i=1}^{n^{[L]}}{y}_i\log {\hat{y}}_i$$即查看训练集的真实分类值，并令其对应的概率值尽可能的大。

而整个训练集的代价就是把所有样本的损失都加起来，即
$$J(\cdots )=\frac{1}{m}\sum _{i=1}^m\mathcal{L}({\hat{y}}^{(i)},y^{(i)})$$
而向后传播的输入$Z^{[L]}$则是
$$d{Z}^{[L]}=\hat{Y}-Y$$