Softmax function
1 提出背景
对于一般的神经网络而言,误差函数为,但是这样的误差函数是会存在问题的:
(1) 对于互斥分类问题的概率求解问题,必须要保证,但是如果采用上述的误差函数,是没有办法保证的
(2) 对于分类问题,实际的结果是1,但是预测的结果是0.0000001,即好比实际的结果在x轴方向的,但是预测的结果却是y轴方向。那么,在缩小误差的过程中,就需要相当长的时间。
2 神经元的激励函数的变化
1 提出背景
对于一般的神经网络而言,误差函数为,但是这样的误差函数是会存在问题的:
(1) 对于互斥分类问题的概率求解问题,必须要保证,但是如果采用上述的误差函数,是没有办法保证的
(2) 对于分类问题,实际的结果是1,但是预测的结果是0.0000001,即好比实际的结果在x轴方向的,但是预测的结果却是y轴方向。那么,在缩小误差的过程中,就需要相当长的时间。
2 神经元的激励函数的变化