numpy_快速实现relu

在stackoverflow上有人讨论使用numpy快速实现relu激活函数的方法。

import numpy as np

x = np.random.random((5000, 5000)) - 0.5
print("max method1:")
%timeit -n10 np.maximum(x, 0)

print("max method2:")
%timeit -n10 np.maximum(0, x)

print("multiplication method:")
%timeit -n10 x * (x > 0)

print("abs method:")
%timeit -n10 (abs(x) + x) / 2

print("fancy index:")
%timeit -n10 x[x<0] =0

print("maxx0x method:")
%timeit y=x
%timeit -n10 np.maximum(y, 0, y)

其输出：

max method1:
10 loops, best of 3: 99.2 ms per loop
max method2:
10 loops, best of 3: 99.2 ms per loop
multiplication method:
10 loops, best of 3: 106 ms per loop
abs method:
10 loops, best of 3: 54.7 ms per loop
fancy index:
10 loops, best of 3: 10.2 ms per loop
maxx0x method:
100000000 loops, best of 3: 14.3 ns per loop
10 loops, best of 3: 17.1 ms per loop

需要注意的是最后一种方法会替换x原来的值，也就是说直接抹除了x中非零值。如果预先赋值y=x,同样需要消耗一些时间，所以不建议使用这个函数。
使用x[x<0]速度最快,但它只返回满足条件的值，连位置信息都丢失了。
建议使用(abs(x) + x) / 2。