训练一个 Softmax 分类器(Training a Softmax classifier)
上一个笔记中我们学习了Softmax层和Softmax激活函数,在这个笔记中,你将更深入地了解Softmax分类,并学习如何训练一个使用了Softmax层的模型。
回忆一下我们之前举的的例子,输出层计算出的z^([l])如下,
我们有四个分类C=4,z^([l])可以是4×1维向量,我们计算了临时变量t
对元素进行幂运算,最后如果你的输出层的激活函数g^([L]) ()是Softmax激活函数,那么输出就会是这样的:
简单来说就是用临时变量t将它归一化,使总和为1,于是这就变成了a^([L]),你注意到向量z中,最大的元素是5,而最大的概率也就是第一种概率。
Softmax这个名称的来源是与所谓hardmax对比,hardmax会把向量z变成这个向量
,ha