激活函数ReLU、Leaky ReLU、tanh(双曲正切函数Hyperbolic tangent function)

深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus - 程序员大本营 https://www.pianshen.com/article/6147380115/
数学表达式： y = max(0, x) + leak*min(0,x)

与 ReLu 相比 ，leak 给所有负值赋予一个非零斜率， leak是一个很小的常数 \large a_{i} ，这样保留了一些负轴的值，使得负轴的信息不会全部丢失）

#leakyRelu在tennsorflow中的简单实现
tf.maximum(leak * x, x),

比较高效的写法为：
import tensorflow as tf
def LeakyReLU(x,leak=0.2,name=“LeakyReLU”):
with tf.variable_scope(name):
f1 = 0.5*(1 + leak)
f2 = 0.5*(1 - leak)
return f1x+f2tf.abs(x)

sigmoid 函数 (以前最常用)

参数 α > 0 可控制其斜率。 sigmoid 将一个实值输入压缩至[0,1]的范围,也可用于二分类的输出层。

tanh (双曲正切函数 ;Hyperbolic tangent function)

将 一个实值输入压缩至 [-1, 1]的范围，这类函数具有平滑和渐近性，并保持单调性.