神经网络之激活函数 dropout原理解读 BatchNormalization 代码实现

神经网络之激活函数(Activation Function)

---

本博客仅为作者记录笔记之用，不免有很多细节不对之处。

还望各位看官能够见谅，欢迎批评指正。

更多相关博客请猛戳：http://blog.csdn.net/cyh_24

如需转载，请附上本文链接：http://blog.csdn.net/cyh_24/article/details/50593400

日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过好像忘了问自己一( n )件事：

1. 为什么需要激活函数？
2. 激活函数都有哪些？都长什么样？有哪些优缺点？
3. 怎么选用激活函数？

本文正是基于这些问题展开的，欢迎批评指正！

(此图并没有什么卵用，纯属为了装x …)

Why use activation functions?

激活函数通常有如下一些性质：

• 非线性： 当激活函数是线性的时候，一个两层的神经网络就可以逼近基本上所有的函数了。但是，如果激活函数是恒等激活函数的时候（即 f(x)=x ），就不满足这个性质了，而且如果MLP使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价的。
• 可微性： 当优化方法是基于梯度的时候，这个性质是必须的。
• 单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数。
• f(x)≈x ： 当激活函数满足这个性质的时候，如果参数的初始化是random的很小的值，那么神经网络的训练将会很高效；如果不满足这个性质，那么就需要很用心的去设置初始值。
• 输出值的范围： 当激活函数输出值是 有限 的时候，基于梯度的优化方法会更加 稳定，因为特征的表示受有限权值的影响更显著；当激活函数的输出是 无限 的时候，模型的训练会更加高效，不过在这种情况小，一般需要更小的learning rate.

这些性质，也正是我们使用激活函数的原因！

Activation Functions.

Sigmoid

Sigmoid 是常用的非线性的激活函数，它的数学形式如下： 

f(x)=11+e−x

正如前一节提到的，它能够把输入的连续实值“压缩”到0和1之间。 
特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1. 
sigmoid 函数曾经被使用的很多，不过近年来，用它的人越来越少了。主要是因为它的一些 缺点：

• Sigmoids saturate and kill gradients. （saturate 这个词怎么翻译？饱和？）sigmoid 有一个非常致命的缺点，当输入非常大或者非常小的时候（saturation），这些神经元的梯度是接近于0的，从图中可以看出梯度的趋势。所以，你需要尤其注意参数的初始值来尽量避免saturation的情况。如果你的初始值很大的话，大部分神经元可能都会处在saturation的状态而把gradient kill掉，这会导致网络变的很难学习。
• Sigmoid 的 output 不是0均值. 这是不可取的，因为这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。 
  产生的一个结果就是：如果数据进入神经元的时候是正的(e.g.  x>0  elementwise in  f=wTx+b )，那么  w  计算出的梯度也会始终都是正的。 
  当然了，如果你是按batch去训练，那么那个batch可能得到不同的信号，所以这个问题还是可以缓解一下的。因此，非0均值这个问题虽然会产生一些不好的影响，不过跟上面提到的 kill gradients 问题相比还是要好很多的。

tanh

tanh 是上图中的右图，可以看出，tanh 跟sigmoid还是很像的，实际上，tanh 是sigmoid的变形： 

tanh(x)=2sigmoid(2x)−1

与 sigmoid 不同的是，tanh 是0均值的。因此，实际应用中，tanh 会比 sigmoid 更好（毕竟去粗取精了嘛）。

ReLU

近年来，ReLU 变的越来越受欢迎。它的数学表达式如下： 

f(x)=max(0,x)

很显然，从图左可以看出，输入信号 <0 时，输出都是0， >0  的情况下，输出等于输入。 w  是二维的情况下，使用ReLU之后的效果如下：

ReLU 的优点：

• Krizhevsky et al. 发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid/tanh 快很多(看右图)。有人说这是因为它是linear，而且 non-saturating
• 相比于 sigmoid/tanh，ReLU 只需要一个阈值就可以得到激活值，而不用去算一大堆复杂的运算。

ReLU 的缺点： 当然 ReLU 也有缺点，就是训练的时候很”脆弱”，很容易就”die”了. 什么意思呢？

举个例子：一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了。

如果这个情况发生了，那么这个神经元的梯度就永远都会是0.

实际操作中，如果你的learning rate 很大，那么很有可能你网络中的40%的神经元都”dead”了。 
当然，如果你设置了一个合适的较小的learning rate，这个问题发生的情况其实也不会太频繁。

Leaky-ReLU、P-ReLU、R-ReLU

Leaky ReLUs： 就是用来解决这个 “dying ReLU” 的问题的。与 ReLU 不同的是： 

f(x)=αx，(x<0)

f(x)=x，(x>=0)

这里的  α  是一个很小的常数。这样，即修正了数据分布，又保留了一些负轴的值，使得负轴信息不会全部丢失。

关于Leaky ReLU 的效果，众说纷纭，没有清晰的定论。有些人做了实验发现 Leaky ReLU 表现的很好；有些实验则证明并不是这样。

Parametric ReLU： 对于 Leaky ReLU 中的 α ，通常都是通过先验知识人工赋值的。 
然而可以观察到，损失函数对 α 的导数我们是可以求得的，可不可以将它作为一个参数进行训练呢？ 
Kaiming He的论文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》指出，不仅可以训练，而且效果更好。

公式非常简单，反向传播至未激活前的神经元的公式就不写了，很容易就能得到。对 α 的导数如下：

δyiδα=0，(ifyi>0)，else=yi

原文说使用了Parametric ReLU后，最终效果比不用提高了1.03%.

Randomized ReLU： 
Randomized Leaky ReLU 是 leaky ReLU 的random 版本 （ α  是random的）. 
它首次试在 kaggle 的NDSB 比赛中被提出的。

核心思想就是，在训练过程中， α  是从一个高斯分布  U(l,u)  中 随机出来的，然后再测试过程中进行修正（有点像dropout的用法）。

数学表示如下：

在测试阶段，把训练过程中所有的  αij  取个平均值。NDSB 冠军的  α  是从  U(3,8)  中随机出来的。那么，在测试阶段，激活函数就是就是： 

yij=xijl+u2

看看 cifar-100 中的实验结果：

Maxout

Maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都取得了start-of-art的识别率。 
Maxout 公式如下： 

fi(x)=maxj∈[1,k]zij

假设  w  是2维，那么有： 

f(x)=max(wT1x+b1,wT2x+b2)

可以注意到，ReLU 和 Leaky ReLU 都是它的一个变形（比如， w1,b1=0  的时候，就是 ReLU）.

Maxout的拟合能力是非常强的，它可以拟合任意的的凸函数。作者从数学的角度上也证明了这个结论，即只需2个maxout节点就可以拟合任意的凸函数了（相减），前提是”隐隐含层”节点的个数可以任意多.

所以，Maxout 具有 ReLU 的优点（如：计算简单，不会 saturation），同时又没有 ReLU 的一些缺点 （如：容易 Go die）。不过呢，还是有一些缺点的嘛：就是把参数double了。

还有其他一些激活函数，请看下表：

How to choose a activation function?

怎么选择激活函数呢？

我觉得这种问题不可能有定论的吧，只能说是个人建议。

如果你使用 ReLU，那么一定要小心设置 learning rate，而且要注意不要让你的网络出现很多 “dead” 神经元，如果这个问题不好解决，那么可以试试 Leaky ReLU、PReLU 或者 Maxout.

友情提醒：最好不要用 sigmoid，你可以试试 tanh，不过可以预期它的效果会比不上 ReLU 和 Maxout.

还有，通常来说，很少会把各种激活函数串起来在一个网络中使用的。

Reference

[1]. http://www.faqs.org/faqs/ai-faq/neural-nets/part2/section-10.html 
[2]. http://papers.nips.cc/paper/874-how-to-choose-an-activation-function.pdf 
[3]. https://en.wikipedia.org/wiki/Activation_function 
[4]. http://cs231n.github.io/neural-networks-1/

Please feel free to contract me if you have any questions.

理解dropout

注意：图片都在github上放着，如果刷不开的话，可以考虑翻墙。
转载请注明：http://blog.csdn.net/stdcoutzyx/article/details/49022443

开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。

dropout是CNN中防止过拟合提高效果的一个大杀器，但对于其为何有效，却众说纷纭。在下读到两篇代表性的论文，代表两种不同的观点，特此分享给大家。

组合派

参考文献中第一篇中的观点，Hinton提出来的。

观点

该论文从神经网络的难题出发，一步一步引出dropout为何有效的解释。大规模的神经网络有两个缺点：

• 费时
• 容易过拟合

这两个缺点真是抱在深度学习大腿上的两个大包袱，一左一右，相得益彰，额不，臭气相投。过拟合是很多机器学习的通病，过拟合了，得到的模型基本就废了。而为了解决过拟合问题，一般会采用ensemble方法，即训练多个模型做组合，此时，费时就成为一个大问题，不仅训练起来费时，测试起来多个模型也很费时。总之，几乎形成了一个死锁。

Dropout的出现很好的可以解决这个问题，每次做完dropout，相当于从原始的网络中找到一个更瘦的网络，如下图所示：

因而，对于一个有N个节点的神经网络，有了dropout后，就可以看做是2ⁿ个模型的集合了，但此时要训练的参数数目却是不变的，这就解脱了费时的问题。

动机论

虽然直观上看dropout是ensemble在分类性能上的一个近似，然而实际中，dropout毕竟还是在一个神经网络上进行的，只训练出了一套模型参数。那么他到底是因何而有效呢？这就要从动机上进行分析了。论文中作者对dropout的动机做了一个十分精彩的类比：

在自然界中，在中大型动物中，一般是有性繁殖，有性繁殖是指后代的基因从父母两方各继承一半。但是从直观上看，似乎无性繁殖更加合理，因为无性繁殖可以保留大段大段的优秀基因。而有性繁殖则将基因随机拆了又拆，破坏了大段基因的联合适应性。

但是自然选择中毕竟没有选择无性繁殖，而选择了有性繁殖，须知物竞天择，适者生存。我们先做一个假设，那就是基因的力量在于混合的能力而非单个基因的能力。不管是有性繁殖还是无性繁殖都得遵循这个假设。为了证明有性繁殖的强大，我们先看一个概率学小知识。

比如要搞一次恐怖袭击，两种方式： 
- 集中50人，让这50个人密切精准分工，搞一次大爆破。 
- 将50人分成10组，每组5人，分头行事，去随便什么地方搞点动作，成功一次就算。

哪一个成功的概率比较大？ 显然是后者。因为将一个大团队作战变成了游击战。

那么，类比过来，有性繁殖的方式不仅仅可以将优秀的基因传下来，还可以降低基因之间的联合适应性，使得复杂的大段大段基因联合适应性变成比较小的一个一个小段基因的联合适应性。

dropout也能达到同样的效果，它强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，达到好的效果。消除减弱了神经元节点间的联合适应性，增强了泛化能力。

个人补充一点：那就是植物和微生物大多采用无性繁殖，因为他们的生存环境的变化很小，因而不需要太强的适应新环境的能力，所以保留大段大段优秀的基因适应当前环境就足够了。而高等动物却不一样，要准备随时适应新的环境，因而将基因之间的联合适应性变成一个一个小的，更能提高生存的概率。

dropout带来的模型的变化

而为了达到ensemble的特性，有了dropout后，神经网络的训练和预测就会发生一些变化。

• 训练层面

  无可避免的，训练网络的每个单元要添加一道概率流程。 
  

  对应的公式变化如下如下：

  • 没有dropout的神经网络 
    
  • 有dropout的神经网络 
    

• 测试层面

  预测的时候，每一个单元的参数要预乘以p。 
  

论文中的其他技术点

• 防止过拟合的方法：

  • 提前终止（当验证集上的效果变差的时候）
  • L1和L2正则化加权
  • soft weight sharing
  • dropout

• dropout率的选择

  • 经过交叉验证，隐含节点dropout率等于0.5的时候效果最好，原因是0.5的时候dropout随机生成的网络结构最多。
  • dropout也可以被用作一种添加噪声的方法，直接对input进行操作。输入层设为更接近1的数。使得输入变化不会太大（0.8）

• 训练过程

  • 对参数w的训练进行球形限制(max-normalization)，对dropout的训练非常有用。
  • 球形半径c是一个需要调整的参数。可以使用验证集进行参数调优
  • dropout自己虽然也很牛，但是dropout、max-normalization、large decaying learning rates and high momentum组合起来效果更好，比如max-norm regularization就可以防止大的learning rate导致的参数blow up。
  • 使用pretraining方法也可以帮助dropout训练参数，在使用dropout时，要将所有参数都乘以1/p。

• 部分实验结论

  该论文的实验部分很丰富，有大量的评测数据。

  • maxout 神经网络中得另一种方法，Cifar-10上超越dropout

  • 文本分类上，dropout效果提升有限，分析原因可能是Reuters-RCV1数据量足够大，过拟合并不是模型的主要问题

  • dropout与其他standerd regularizers的对比 
    
    • L2 weight decay
    • lasso
    • KL-sparsity
    • max-norm regularization
    • dropout
  • 特征学习 
    
    • 标准神经网络，节点之间的相关性使得他们可以合作去fix其他节点中得噪声，但这些合作并不能在unseen data上泛化，于是，过拟合，dropout破坏了这种相关性。在autoencoder上，有dropout的算法更能学习有意义的特征（不过只能从直观上，不能量化）。
    • 产生的向量具有稀疏性。
    • 保持隐含节点数目不变，dropout率变化；保持激活的隐节点数目不变，隐节点数目变化。
  • 数据量小的时候，dropout效果不好，数据量大了，dropout效果好

  • 模型均值预测

    • 使用weight-scaling来做预测的均值化
    • 使用mente-carlo方法来做预测。即对每个样本根据dropout率先sample出来k个net，然后做预测，k越大，效果越好。

  • Multiplicative Gaussian Noise 
    使用高斯分布的dropout而不是伯努利模型dropout

  • dropout的缺点就在于训练时间是没有dropout网络的2-3倍。

进一步需要了解的知识点

• dropout RBM
• Marginalizing Dropout 
  具体来说就是将随机化的dropout变为确定性的，比如对于Logistic回归，其dropout相当于加了一个正则化项。
• Bayesian neural network对稀疏数据特别有用，比如medical diagnosis, genetics, drug discovery and other computational biology applications

噪声派

参考文献中第二篇论文中得观点，也很强有力。

观点

观点十分明确，就是对于每一个dropout后的网络，进行训练时，相当于做了Data Augmentation，因为，总可以找到一个样本，使得在原始的网络上也能达到dropout单元后的效果。 比如，对于某一层，dropout一些单元后，形成的结果是(1.5,0,2.5,0,1,2,0)，其中0是被drop的单元，那么总能找到一个样本，使得结果也是如此。这样，每一次dropout其实都相当于增加了样本。

稀疏性

知识点A

首先，先了解一个知识点：

When the data points belonging to a particular class are distributed along a linear manifold, or sub-space, of the input space, it is enough to learn a single set of features which can span the entire manifold. But when the data is distributed along a highly non-linear and discontinuous manifold, the best way to represent such a distribution is to learn features which can explicitly represent small local regions of the input space, effectively “tiling” the space to define non-linear decision boundaries.

大致含义就是： 
在线性空间中，学习一个整个空间的特征集合是足够的，但是当数据分布在非线性不连续的空间中得时候，则学习局部空间的特征集合会比较好。

知识点B

假设有一堆数据，这些数据由M个不同的非连续性簇表示，给定K个数据。那么一个有效的特征表示是将输入的每个簇映射为特征以后，簇之间的重叠度最低。使用A来表示每个簇的特征表示中激活的维度集合。重叠度是指两个不同的簇的A_i和A_j之间的Jaccard相似度最小，那么：

• 当K足够大时，即便A也很大，也可以学习到最小的重叠度
• 当K小M大时，学习到最小的重叠度的方法就是减小A的大小，也就是稀疏性。

上述的解释可能是有点太专业化，比较拗口。主旨意思是这样，我们要把不同的类别区分出来，就要是学习到的特征区分度比较大，在数据量足够的情况下不会发生过拟合的行为，不用担心。但当数据量小的时候，可以通过稀疏性，来增加特征的区分度。

因而有意思的假设来了，使用了dropout后，相当于得到更多的局部簇，同等的数据下，簇变多了，因而为了使区分性变大，就使得稀疏性变大。

为了验证这个数据，论文还做了一个实验，如下图：

该实验使用了一个模拟数据，即在一个圆上，有15000个点，将这个圆分为若干个弧，在一个弧上的属于同一个类，一共10个类，即不同的弧也可能属于同一个类。改变弧的大小，就可以使属于同一类的弧变多。

实验结论就是当弧长变大时，簇数目变少，稀疏度变低。与假设相符合。

个人观点：该假设不仅仅解释了dropout何以导致稀疏性，还解释了dropout因为使局部簇的更加显露出来，而根据知识点A可得，使局部簇显露出来是dropout能防止过拟合的原因，而稀疏性只是其外在表现。

论文中的其他技术知识点

• 将dropout映射回得样本训练一个完整的网络，可以达到dropout的效果。
• dropout由固定值变为一个区间，可以提高效果
• 将dropout后的表示映射回输入空间时，并不能找到一个样本x^*使得所有层都能满足dropout的结果，但可以为每一层都找到一个样本，这样，对于每一个dropout，都可以找到一组样本可以模拟结果。

• dropout对应的还有一个dropConnect，公式如下：

  • dropout

    

  • dropConnect

    

• 试验中，纯二值化的特征的效果也非常好，说明了稀疏表示在进行空间分区的假设是成立的，一个特征是否被激活表示该样本是否在一个子空间中。

参考文献

[1]. Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[2]. Dropout as data augmentation. http://arxiv.org/abs/1506.0870

BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下： 

我们可以把这个流程图以门电路的形式展开，方便进行前向传播和后向传播： 

那么前向传播非常简单，直接给出代码：

[html]  view plain  copy

 

1. def batchnorm_forward(x, gamma, beta, eps):  
2.   
3.   N, D = x.shape  
4.   #为了后向传播求导方便，这里都是分步进行的  
5.   #step1: 计算均值  
6.   mu = 1./N * np.sum(x, axis = 0)  
7.   
8.   #step2: 减均值  
9.   xmu = x - mu  
10.   
11.   #step3: 计算方差  
12.   sq = xmu ** 2  
13.   var = 1./N * np.sum(sq, axis = 0)  
14.   
15.   #step4: 计算x^的分母项  
16.   sqrtvar = np.sqrt(var + eps)  
17.   ivar = 1./sqrtvar  
18.   
19.   #step5: normalization->x^  
20.   xhat = xmu * ivar  
21.   
22.   #step6: scale and shift  
23.   gammax = gamma * xhat  
24.   out = gammax + beta  
25.   
26.   #存储中间变量  
27.   cache =  (xhat,gamma,xmu,ivar,sqrtvar,var,eps)  
28.   
29.   return out, cache  

反向传播则是求导的过程，这里特别要小心，由于门电路中有多个支路，求导时要进行加和。

[html]  view plain  copy

 

1. def batchnorm_backward(dout, cache):  
2.   
3.   #解压中间变量  
4.   xhat,gamma,xmu,ivar,sqrtvar,var,eps = cache  
5.   
6.   N,D = dout.shape  
7.   
8.   #step6  
9.   dbeta = np.sum(dout, axis=0)  
10.   dgammax = dout  
11.   dgamma = np.sum(dgammax*xhat, axis=0)  
12.   dxhat = dgammax * gamma  
13.   
14.   #step5  
15.   divar = np.sum(dxhat*xmu, axis=0)  
16.   dxmu1 = dxhat * ivar #注意这是xmu的一个支路  
17.   
18.   #step4  
19.   dsqrtvar = -1. /(sqrtvar**2) * divar  
20.   dvar = 0.5 * 1. /np.sqrt(var+eps) * dsqrtvar  
21.   
22.   #step3  
23.   dsq = 1. /N * np.ones((N,D)) * dvar  
24.   dxmu2 = 2 * xmu * dsq #注意这是xmu的第二个支路  
25.   
26.   #step2  
27.   dx1 = (dxmu1 + dxmu2) 注意这是x的一个支路  
28.   
29.   
30.   #step1  
31.   dmu = -1 * np.sum(dxmu1+dxmu2, axis=0)  
32.   dx2 = 1. /N * np.ones((N,D)) * dmu 注意这是x的第二个支路  
33.   
34.   #step0 done!  
35.   dx = dx1 + dx2  
36.   
37.   return dx, dgamma, dbeta  

要注意的就是求导时遇到多个支路的情况要进行累加。表达式复杂的话还是分步进行比较不容易出错