机器学习-激活函数总结

激活函数就相当于人体的神经元，它的主要作用就是对输入的信号进行转换，比如将疼痛转化为疼痛信号。但是疼痛的来源有很多种，也就是可能来自于很多的上一个层的神经细胞，比如敲打、拉扯、针刺等等，但是归根结底，它就是一个痛。但是为什么会存在这么多的激活函数？原因在于，当前的计算机并不能很好地模拟人体的神经元，比如，敲打可以加重疼痛，但是药物也可以缓解疼痛，但是对于Sigmoid函数，它的输出并不是以0为中心，所以只能进行加性计算。

激活函数的几个改进点：
激活函数的不同主要在于，对于不同的模型，选择更合适的函数来模拟人体神经网络的结构
1. 梯度消失
这个问题主要是在深度学习之后出现的，深度学习之前主要使用的是sigmoid。但是这个函数由于靠近0-1两端的时候，梯度几乎接近于零。即，随着网络的不断训练，输出值会越来越靠近0-1两端，此时，梯度将接近于零，导致方向传播基本上不会发生梯度改变，即神经元饱和，就如同神经麻木一样，此时的神经元将没有任何感觉能力。
2. 以零为中心-zero-centered
意思就是0均值，但是对于这个问题，网上的一直没有很好的解释清楚，我这里说说我的理解
神经网络并不是只有一个权重w，而是由一群权重w组成，这些权重都是统一进行梯度计算，也就是w只能一起加上或者减去梯度值，这样就导致一个问题，比如对一组权重w，如果最优点的权重比一部分w大，比另一部分要小，那么由于只能统一加减计算，所以，不得不先更新一部分，保持另一部分为0,；然后再更新一部分，这样的效率将会很低，很显然，如果正负都可以计算，完全可以一步到位。计算步骤如下图：

参考链接：https://zhuanlan.zhihu.com/p/25110450
3. 计算成本
深度神经网络需要进行大量的计算，之前的激活函数都是指数或者倒数函数，计算复杂，将大大增加计算量，因此，为了简化计算量，现在开始大量使用RELU函数，即max(x,0)

常用激活函数及其导数：

---

激活函数分类

1. tf.nn.relu
   修正线性单元(Rectified linear unit)
   
   

ReLU也有几个需要特别注意的问题：
* ReLU的输出不是zero-centered
* Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化，这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。

尽管存在这两个问题，ReLU目前仍是最常用的activation function，在搭建人工神经网络的时候推荐优先尝试！

---

1. tf.nn.relu6
2. tf.nn.crelu
3. tf.nn.elu
   指数线性单元(Exponential Linear Units)
   
   

ELU也是为解决ReLU存在的问题而提出，显然，ELU有ReLU的基本所有优点，以及：
* 不会有Dead ReLU问题
* 输出的均值接近0，zero-centered

它的一个小问题在于计算量稍大。类似于Leaky ReLU，理论上虽然好于ReLU，但在实际使用中目前并没有好的证据ELU总是优于ReLU。

---

1. tf.nn.selu
2. tf.nn.softplus
   
   

---

1. tf.nn.softsign
   
   

---

1. tf.sigmoid
   
   

---

1. tf.tanh
   

---

补充：
1. Leaky ReLU函数


人们为了解决Dead ReLU Problem，提出了将ReLU的前半段设为0.01x而非0。另外一种直观的想法是基于参数的方法，即Parametric ReLU:f(x) = \max(\alpha x, x)，其中\alpha
可由back propagation学出来。理论上来讲，Leaky ReLU有ReLU的所有优点，外加不会有Dead ReLU问题，但是在实际操作当中，并没有完全证明Leaky ReLU总是好于ReLU。

---

1. 
   
2. SoftMax
   
   这个公式一般用于多分类问题，比如手写数字识别中，有10个分类，我们最后的输出并不是10个数中的某一个，而是每个数字都占有一定的权重，这里的意思就是权重占比。权重越大的被取到的可能性越高。
   

一个别人的例子：SVM只选自己喜欢的男神，Softmax把所有备胎全部拉出来评分，最后还归一化一下
参考：enter description here
小结
建议使用ReLU函数，但是要注意初始化和learning rate的设置；可以尝试使用Leaky ReLU或ELU函数；不建议使用tanh，尤其是sigmoid函数。

关键词
* 梯度消失
例如sigmoid的函数，它的导数的取值范围是(0, 0.25]，也就是说对于导数中的每一个元素，我们都有 ， ，小于1的数乘在一起，必然是越乘越小的。这才仅仅是3层，如果10层的话， 根据乘法计算，第10层的误差相对第一层卷积的参数的梯度将是一个非常小的值，接近于0，这就是所谓的“梯度消失”。

参考：https://zhuanlan.zhihu.com/p/25110450