深度学习日常发问（二）：初始激活函数

写在开头：今天主要分享一下对不同激活函数的理解，和代码结果的对比。

内容介绍

在本节中我们会对常见的激活函数进行介绍，并介绍其优缺点，最后通过代码的实现来完成对比。
Q1：什么是激活函数？为什么需要激活函数？
Q2：激活函数有哪些？
Q3：这些激活函数之间图像有多大的差异？
Q4：那么怎么来检验各个激活函数之间的作用呢？（单独开一篇文章）

开始分享

既然本节内容是将激活函数的对比，那么本节首先就提个问什么是激活函数？为什么需要激活函数？
Q1：什么是激活函数？为什么需要激活函数？
先假设如果没有激活函数的话，那么我们可以认为深层次的网络也仅为一个单层的网络，$$Y=WX=(w_1,w_2,...,w_3)X$$这样一个网络的预测能力其实也就是线性回归模型的预测能力，在面对网络世界中非线性数据时，表现得就很不理想了，无法去解读非线性的信息。那么此时就需要激活函数，将线性的输出通过非线性函数转化为复杂的非线性的信息，依次来提高模型的预测能力。所以激活函数就是一个能够将线性信息转化为非线性的一个函数。
那么我们在简单理解了激活函数存在的意义之后，那么接下来一个问题就是有哪些激活函数，可以供我们使用，这些激活函数有什么优缺点吗？
Q2：激活函数有哪些？
常见的激活函数有sigmoid、tanh、ReLU、PReLU、LeakyReLU还有ELU、Maxout、SoftSign、SoftPlus、Swish、Mish等那么跟着笔者的脚步，一个个来认识一下这些激活函数，并了解一下他们各自的有缺点，并且在最后我们会通过实例来展现不同激活函数运行的效果。
1.Sigmoid
1）函数形式：
$$\sigma (x)=\frac{1}{1+e^{-x}}$$
2）函数图像：
这里加载的包在本节绘图中是通用的，在下面的代码中将不再展示加载包的代码，以及x的生成代码。

import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt
import torch.nn as nn

x = torch.linspace(-6, 6, 300)
x = Variable(x)         #利用Variable进行torch运算
x_np = x.data.numpy()   #利用numpy进行画图

y_sigmoid = F.sigmoid(x).data.numpy()

plt.plot(x_np, y_sigmoid)
plt.title("Activation function of Sigmoid")

3）优缺点
优点：
Sigmoid函数能够将输入的值转换到(0, 1)的范围上，能够近似的看作是一个神经元的饱和放电率的展示。因为其具有指数形式，所以被认为接近生物上神经元。函数严格单整，且处处可导，在求解梯度的时候及其方便。
缺点：
主要有三个方面，第一个就是由于输入数值的过大或者过小，会使得Sigmoid函数趋于饱和，也就是对应图中曲线趋于平缓的阶段，这一段的梯度是近似为零，根据向后转播的方法，那么这个梯度将无法继续向后传导，几乎没有变化。
第二个就是由于sigmoid是个非零中心的激活函数，那么意味着所有通过激活函数输出的值都为正，那么在梯度更新的时候，我们可以通过cs231n以前的作业可以知道，对于$Y=WX$求导，得到的就是X本身。由于是向反方向进行梯度更新，那么更新的梯度要不就是全为正要不就是全为负，总是朝着固定的两个方向更新，使得效率比较低。
第三个就是在sigmoid函数中使用的是指数函数，这会使得计算代价非常大，但由于卷积使用的点乘和要比指数函数代价更大，因此这一点缺点不是最主要的。
2.Tanh
1）函数形式：
$$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$