计算机的错误计算（八）

zaim1

已于 2024-06-19 23:49:53 修改

阅读量362

点赞数 12

文章标签：机器学习深度学习算法人工智能 python java 神经网络

于 2024-06-19 22:42:48 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/zaim1/article/details/139789668

版权

摘要介绍神经网络中的 Sigmoid 激活函数的导数（或梯度）的计算误差。

Sigmoid 函数通常用作神经网络的激活函数。它适用于二分类问题。其数学表达式为：

$S(x)=\frac{1}{1+e^{-x}}$ .

其对 $x$ 的导函数可以用自身表示：

$S'(x)=\frac{e^{-x}}{(1+e^{-x})^2}=S(x)(1-S(x))$ ，

这样可以简化梯度的计算。

例1. 已知 $x=4.9893$ . 利用

$S'(x)=S(x)(1-S(x))$

计算 $S'(x)$ .

不妨用C代码进行计算：

$double\,\,\, x,s,s1;\\ x=4.9893;\\ s=1/(1+exp(-x));\\ s1=s*(1-s);\\printf("\%50.50f",s1);$

则在 Visual Studio 2010 环境下，输出结果有17位非零数字（从18位开始后面全为0）：0.006718605318952504100...；而含有17位正确有效数字的结果为 0.0067186053189526173. 这样，计算机的输出中有 4 位错误数字。

即使只考虑前 15 或 16 位数字，错误数字也有二三位。在机器学习中，能确保这个误差不会被积累与传播？

关注

12
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
计算机的错误计算（八）

介绍神经网络中的Sigmoid 激活函数的导数（或梯度）的计算误差。
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。