学习笔记：神经网络中的激活函数sigmoid函数如何避免overstack

1,首先贴出sigmoid原始函数：

# def sigmoid(x):
#     return 1 / (1 + np.exp(-x))

问题：
因为当x为正整数的时候，exp(-x)很小，当x是一个非常小的负数时，exp(-x)会过大，导致溢出。
所以我们可以这样优化：对于负数，我们上下同时乘以exp(x)即可。
优化后的函数为：

def sigmoid(x):
   if np.all(x) >= 0:
       return 1 / (1 + np.exp(-x))
   else:
       return np.exp(x) / (np.exp(x) + 1)

当然，可以在进行数据预处理的时候就可以进行归一化，将数据控制在0-1之间，这样也可以避免overstack.