关闭

神经网络中的softmax函数

2851人阅读 评论(0) 收藏 举报
分类:

Softmax function

1 提出背景

对于一般的神经网络而言,误差函数为,但是这样的误差函数是会存在问题的:

(1)  对于互斥分类问题的概率求解问题,必须要保证,但是如果采用上述的误差函数,是没有办法保证的

(2)  对于分类问题,实际的结果是1,但是预测的结果是0.0000001,即好比实际的结果在x轴方向的,但是预测的结果却是y轴方向。那么,在缩小误差的过程中,就需要相当长的时间。

2 神经元的激励函数的变化


注意:j代表k-1层所有的神经单元


 

3 误差函数的变化

 采用熵的方法,求解误差



0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:7882次
    • 积分:269
    • 等级:
    • 排名:千里之外
    • 原创:18篇
    • 转载:8篇
    • 译文:1篇
    • 评论:0条
    文章分类