这些功能已经存在于scipy中. Sigmoid功能可用作
scipy.special.expit.
In [36]: from scipy.special import expit
比较expire到矢量化sigmoid函数:
In [38]: x = np.linspace(-6, 6, 1001)
In [39]: %timeit y = sigmoid(x)
100 loops, best of 3: 2.4 ms per loop
In [40]: %timeit y = expit(x)
10000 loops, best of 3: 20.6 µs per loop
expit也比您自己实现公式快:
In [41]: %timeit y = 1.0 / (1.0 + np.exp(-x))
10000 loops, best of 3: 27 µs per loop
物流分布的CDF是S形函数.它可以作为scipy.stats.logistic的cdf方法,但是cdf最终调用expit,所以使用该方法没有任何意义.您可以使用pdf方法来计算Sigmoid函数的导数,或者减少开销的_pdf方法,但是“滚动自己的”更快:
In [44]: def sigmoid_grad(x):
....: ex = np.exp(-x)
....: y = ex / (1 + ex)**2
....: return y
时间(x长度为1001):
In [45]: from scipy.stats import logistic
In [46]: %timeit y = logistic._pdf(x)
10000 loops, best of 3: 73.8 µs per loop
In [47]: %timeit y = sigmoid_grad(x)
10000 loops, best of 3: 29.7 µs per loop
如果您要使用远离尾部的值,请小心您的实现.指数函数可以很容易地溢出. logistic._cdf比我快速实现sigmoid_grad更有力:
In [60]: sigmoid_grad(-500)
/home/warren/anaconda/bin/ipython:3: RuntimeWarning: overflow encountered in double_scalars
import sys
Out[60]: 0.0
In [61]: logistic._pdf(-500)
Out[61]: 7.1245764067412855e-218
使用sech ** 2(1 / cosh ** 2)的实现比上述sigmoid_grad有点慢:
In [101]: def sigmoid_grad_sech2(x):
.....: y = (0.5 / np.cosh(0.5*x))**2
.....: return y
.....:
In [102]: %timeit y = sigmoid_grad_sech2(x)
10000 loops, best of 3: 34 µs per loop
但它更好地处理尾巴:
In [103]: sigmoid_grad_sech2(-500)
Out[103]: 7.1245764067412855e-218
In [104]: sigmoid_grad_sech2(500)
Out[104]: 7.1245764067412855e-218