神经网络中的softmax函数

Softmax function

1 提出背景

对于一般的神经网络而言,误差函数为,但是这样的误差函数是会存在问题的:

(1)  对于互斥分类问题的概率求解问题,必须要保证,但是如果采用上述的误差函数,是没有办法保证的

(2)  对于分类问题,实际的结果是1,但是预测的结果是0.0000001,即好比实际的结果在x轴方向的,但是预测的结果却是y轴方向。那么,在缩小误差的过程中,就需要相当长的时间。

2 神经元的激励函数的变化


注意:j代表k-1层所有的神经单元


 

3 误差函数的变化

 采用熵的方法,求解误差



阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭