深度学习中softmax函数的溢出修正 (参考《深度学习入门》图书)

今天在运行代码过程中,在神经网络输出层设计激活函数的过程中遇到了一个十分有趣的函数softmax函数,作为处理分类问题的常用函数,有必要从代码和图像深度了解该函数,softmax存在一个溢出的问题,就是当输入的数据很大时,由于softmax函数的本质工作是在做指数函数的运算,所以回导致最终的数据无法正常输出,会报错,出现“nan”报错现象。 

 c954cf9a28c4456ba44f9f2b7642ded4.png

 58183327c97f4283a141ba0ee6342423.png

98cf8fb213da432e8e60e83df89b0b38.png 

5b61c5c867c248bbab4204ebcc278919.png 

43d234d6f6f74ff3ba3dfb450875e242.png 

647433516c4648008ed2094a3e0e4858.png 

d436b876d3fe40e09f2db2d4401ea018.jpg 

08602e041dfd43959ba7bfb49f571893.jpg 

ae051cf91527485da7fbb6d16d3d4881.jpg 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值