卷积神经网络中的四种基本组件

【导读】当今，卷积神经网络在图像识别等领域取得巨大的成功，那么是什么使其高效而快速呢？本文整理John Olafenwa的一篇博文，主要介绍了卷积神经网络采用的四种基本组件：Pooling、Dropouts、Batch Normalization、Data Augmentation ，分别解释了这些组件在现代CNN中所起的作用。另外，作者使用keras实现这几种组件，构建一个完整的CNN系统，更有助于读者理解这几种组件的作用和实现方法。

 

Components of convolutional neural networks

 

最近最先进的网络结构采用了许多附加组件来补充卷积操作。在这篇文章中，我将解释一些能够提高现代卷积神经网络速度和精度的最重要的组件。 我将从解释每个组件的理论开始，并在keras中实现。

 

▌Pooling

---

---

 

使CNN非常有效的第一个秘诀就是Pooling。Pooling是一种矢量，对图像的每个局部区域进行标量变换，就像卷积操作一样，然而，与卷积不同的是它们没有过滤器，也不用局部区域计算点积，而是计算区域中像素的平均值（average pooling），或者简单地选取最大像素并丢弃其余部分（Max Pooling）。

 

以上是2 x 2 pooling，它可以有效地将特征映射的大小减小2倍。

 

Pooling的想法看起来可能适得其反，因为它会导致信息的丢失，但它在实践中证明是非常有效的，因为它使得covnets（卷积网络）对于图像表示的变化是不变的，并且还减少了背景噪声的影响。 Max Pooling近年来效果最好，其思想是，用某个局部区域的最大像素代表该地区最重要的特征。通常我们想分类的物体的图像可能包含许多其他物体，例如，出现在汽车图像中某处的猫可能会误导分类器。pooling有助于缓解这一现象，使covnets更好地推广。

 

它也大大降低了covnet的计算成本。通常，网络中每层的图像大小与每层的计算成本(flops)成正比。随着图层变得更深，pooling会减少图像的尺寸，因此，它有助于防止网络需要的flops数量激增。 分段卷积有时用作pooling的替代物。

 

 

▌Dropouts

---

---

 

过度拟合是网络在训练集上运行良好但在测试集上表现不佳的一种现象。这通常是由于过度依赖于训练集中出现的特定的特征。Dropouts是一种抑制过度拟合的技巧。 它可以随机地将一些激活值设置为0，从而避免过度拟合。  通过这样做，网络不得不探索更多分类图像的路径而不是过度依赖于某些特征。 Dropouts是AlexNet中的关键元素之一。

 

 

▌Batch Normalization（批量标准化）

---

---

 

神经网络的一个主要问题是梯度消失，造成训练非常糟糕。 来自Google Brain的Ioie和Szegedy发现，这主要是因为内部协变量的变化，这种情况是由于信息通过网络传播而造成的数据分布变化引起的。他们提出批量标准化（Batch Normalization）的技术。它的工作原理是将每一批图像都标准化，从而得到零均值和单位方差。

 

它通常放在cnns的非线性（relu）之前。 它极大地提高了准确性，同时极大地加快了训练过程。

 

 

▌Data Augmentation（数据增强）

---

---

 

现代covnets所需要的最后一种组件是Data Augmentation。人类视觉系统在适应图像平移，旋转和其他形式的扭曲方面非常出色。拍摄图像并且不管如何翻转它，大多数人仍然可以识别它。 然而，covnets不善于处理这种扭曲，它们可能会由于小的改变而失败。 它们解决这个问题的关键是随机扭曲训练图像，使用水平切除，垂直切除，旋转，增白，移位和其他扭曲的手段。这将使covnets学会如何处理这种扭曲，因此，他们将能够在现实世界中很好地工作。

 

另一种常用技术是从每幅图像中减去平均图像，并除以标准偏差。

http://mp.weixin.qq.com/s/KYA18EB5fPCp46OXrkvijg

https://towardsdatascience.com/components-of-convolutional-neural-networks-6ff66296b456