常见激活函数及tensorflow使用

---

激活函数

激活函数使输出的函数不再为线性，加入非线性因素，使得可以加入更多的网络层数，计算更多的函数。

唯一能使用线性激活函数的地方为机器学习的回归问题

下面介绍几种常用的激活函数：

---

一、sigmoid函数

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

• 输出在0~1之间，常用在二元分类的输出层，其他一般不用。
• 在x=0处最大导数为0.25，会产生梯度消失现象。

---

二、tanh函数

$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

• 输出在-1~1之间，收敛速度比Sigmoid函数快
• 在x=0处最大导数为1

---

三、ReLU函数

$$f(x)=max(0,x)$$

• 不会有梯度消失问题加快了训练速度，但是在z<0处值为0.
• 由于梯度以指数方式在层中消失，导致网络较底层的训练速度非常慢。ReLU 对输入内容的所有值都应用了函数 $f(x)=max(0,x)$。用基本术语来说，这一层把所有的负激活（negative activation）都变为零。这一层会增加模型乃至整个神经网络的非线性特征，而且不会影响卷积层的感受野。

---

四、leaky ReLU函数（PRELU）

$$f(x)=max(\alpha x,x)$$

• 为了解决ReLu函数在z<0处值为0的情况，引入leaky ReLu函数，使在z<0处有值。

---

五、Swish函数

$$swish(x)=x\cdot sigmoid(\beta x)$$

• Swish是Sigmoid和ReLU的改进版，类似于ReLU和Sigmoid的结合，β是个常数或可训练的参数。
• Swish 具备无上界有下界、平滑、非单调的特性。Swish 在深层模型上的效果优于 ReLU。

---

六、Mish函数

$$Mish(x)=x\cdot tanh(ln(1+e^x))$$

• Mish与Swish激活函数类似，Mish具备无上界有下界、平滑、非单调的特性。Mish在深层模型上的效果优于 ReLU。
• 无上边界可以避免由于激活值过大而导致的函数饱和。

---

七、TensorFlow代码

在tensorflow中在建立模型时需要用到激活函数，其中activation为调用激活函数。

#激活函数为relu
tf.keras.layers.Dense(128, activation='relu')
#这是一层激活函数为softmax层，一般用于模型最后分类问题
tf.keras.layers.Dense(10, activation='softmax')

model.add(Conv2D(kernel_size=(3, 3), strides=(1, 1), padding="same", filters=384,
				 activation='relu', kernel_initializer='he_normal'))