多分类单标签,softmax函数
下面给出Softmax函数的定义(以第i个节点输出为例):,其中 Zi 为第i个节点的输出值,C为输出节点的个数,即分类的类别个数。通过Softmax函数就可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布。引入指数形式的优点:指数函数曲线呈现递增趋势,最重要的是斜率逐渐增大,也就是说在x轴上一个很小的变化,可以导致y轴上很大的变化。这种函数曲线能够将输出的数值拉开距离。在深度学习中通常使用反向传播求解梯度进而使用梯度下降进行参数更新的过程,而指数函数在求导的时候比较方便。比如 引入指
原创
2020-11-26 10:06:35 ·
851 阅读 ·
0 评论