RuntimeWarning: overflow encountered in power

音程

已于 2022-03-12 16:45:35 修改

阅读量1.1w

点赞数 4

分类专栏：安装以及错误文章标签：机器学习

于 2021-05-10 19:48:02 首次发布

本文链接：https://blog.csdn.net/qq_43391414/article/details/116606935

版权

安装以及错误专栏收录该内容

84 篇文章

订阅专栏

在使用Sigmoid函数时可能会遇到数值溢出的问题，尤其是在输入为极端负数时。本文详细分析了溢出的原因，并提供了一个优化版的Sigmoid函数实现来解决这一问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题：

在使用sigmoid函数的时候遇到了这个错误：

  yyh=1/(1+np.power(np.e,-yh))

在这里插入图片描述
问题分析：

溢出就是数太大，计算机已经表示不了了。我们当然会想，怎么会溢出呢？因为我们注意到这里使用了指数，指数的增长速度是非常块的， $e^{1000}$ 这个数估计计算机都表示不了，因为太大了。

我们猜测：是否是我们的 $y h$ 有一个非常小的负数，然后取负号就变成特别大的正数，然后指数一下就溢出。

在这里插入图片描述
果然如此，这里相当于计算了 $e^{1151}$ ，所以当然会溢出了。

理论分析：

$y=\frac{1}{1+e^{-x}}$

当x为正数，很大的时候，不会溢出，因为 $e^{-x}$ 趋近于0，没什么好溢出的。
当x为负数，很小的时候，会溢出，如上面的情况。

所以我们修正一下我们的sigmoid函数，不要直接上面这么用。将

  yyh=1/(1+np.power(np.e,-yh))

换成：

def sigmoid(x):
    if x>=0:      
        return 1.0/(1+np.power(np.e,-x))
    else:#为负数的时候，对sigmoid函数的优化，避免了出现极大的数据溢出
        return np.power(np.e,x)/(1+np.power(np.e,x))
yyh=sigmoid(yh)

注意：上面并没有修改sigmoid函数，只是把公式换了一种等价描述，但是却克服了计算机会溢出的缺点。

即：

$y=\frac{1}{1+e^{-x}}=\frac{e^{x}}{e^{x}+1}$

但是当x为正的时候，不要使用第2种公式形式，不然溢出。当x为负的时候，才使用，但不使用第一种公式形式，这就是优化的sigmoid函数(仅仅在计算机中才需要优化，数学中是完全等价的）。