qq_37431264的博客

原创 python中sigmoid指数溢出的解决方法

作为神经网络中的激活函数从整体来看，这个式子的值恒小于1，似乎没有溢出的风险，但是对于计算机来说，需要计算的每一个步骤都不溢出才行。因此当时，式可能发生指数溢出。对此，可以对sigmoid函数分式上下同乘一个较小值，当时且发生指数溢出时，这个较小值可以是。因此sigmoid函数可以改写为当 x 为一个数时，可以简单地用 if-else 语句进行选择函数式，但神经网络中，输入是一个矩阵，比较语句：if x < 0 会维度报错。此时可以使用 numpy.nonzero...