python纯函数_Numpy纯函数的性能，缓存

这些函数已经存在于scipy中。sigmoid函数可用作^{}。In [36]: from scipy.special import expit

将expit与矢量化乙状结肠功能进行比较：In [38]: x = np.linspace(-6, 6, 1001)

In [39]: %timeit y = sigmoid(x)

100 loops, best of 3: 2.4 ms per loop

In [40]: %timeit y = expit(x)

10000 loops, best of 3: 20.6 µs per loop

expit也比自己实现公式快：In [41]: %timeit y = 1.0 / (1.0 + np.exp(-x))

10000 loops, best of 3: 27 µs per loop

logistic分布的CDF是乙状结肠的功能。它可用作scipy.stats.logistic的cdf方法，但cdf最终调用expit，因此使用该方法没有意义。您可以使用pdf方法计算sigmoid函数的导数，也可以使用_pdf方法计算sigmoid函数的导数，该方法开销较小，但“自己滚动”速度更快：In [44]: def sigmoid_grad(x):

....: ex = np.exp(-x)

....: y = ex / (1 + ex)**2

....: return y

计时(x的长度为1001)：In [45]: from scipy.stats import logistic

In [46]: %timeit y = logistic._pdf(x)

10000 loops, best of 3: 73.8 µs per loop

In [47]: %timeit y = sigmoid_grad(x)

10000 loops, best of 3: 29.7 µs per loop

如果要使用非常接近尾端的值，请小心实现。指数函数很容易溢出。logistic._cdf比我快速实现的sigmoid_grad更健壮一些：In [60]: sigmoid_grad(-500)

/home/warren/anaconda/bin/ipython:3: RuntimeWarning: overflow encountered in double_scalars

import sys

Out[60]: 0.0

In [61]: logistic._pdf(-500)

Out[61]: 7.1245764067412855e-218

使用sech**2(1/cosh**2)的实现比上面的sigmoid_grad慢一点：In [101]: def sigmoid_grad_sech2(x):

.....: y = (0.5 / np.cosh(0.5*x))**2

.....: return y

.....:

In [102]: %timeit y = sigmoid_grad_sech2(x)

10000 loops, best of 3: 34 µs per loop

但它能更好地处理尾巴：In [103]: sigmoid_grad_sech2(-500)

Out[103]: 7.1245764067412855e-218

In [104]: sigmoid_grad_sech2(500)

Out[104]: 7.1245764067412855e-218