解决sigmoid/softmax指数运算溢出问题及python实现

sigmoid/softmax指数运算溢出问题

sigmoid和softmax函数在计算中，都会用到指数运算$e^{-x}$或$e^x$,如果在$e^{-x}$中$x$是一个很小的负数，如-128等，或者在$e^x$中$x$是一个很大的正数，如128等，这时有溢出的风险。
而sigmoid和softmax的结果是一个在0~1之间的值，所以可以看到这种溢出只是一种中间过程，对于结果来说并不会有溢出，来看下如何去解决这个问题

解决$sigmoid$函数溢出问题

1.如果$x>0$则$y=\frac{1}{1+e^{-x}}$

2.如果$x<0$则$y=\frac{e^x}{1+e^x}$
python代码如下：

import numpy as np
def sigmoid(x):
    if x >= 0:
        return 1 / (1 + np.exp(-x))
    else:
        return np.exp(x) / (1 + np.exp(x))

解决LR模型中计算cross entropy溢出问题

1.label记为$y$
2. 记$z=\frac{1}{1+e^{-x}}$

$cros$