卷积神经网络

参考https://blog.csdn.net/sinat_35473930/article/details/78771589

经典网络

1. LeNet-5
2. AlexNet
3. VGGNet

LeNet-5

经常被引用的模式

一个或多个卷积层后面跟着一个池化层，然后又是若干个卷积层再接一个池化层，然后是全连接层，最后是输出，这种排列方式很常用。

本片论文中使用的是sigmod 函数和 tanh 函数。各网络层之间是有关联的。通道数量相同。

LeNet-5卷积网络中，总共大约有6万个参数。随着深度的增加，nHnH、nWnW的值在不断减小，nCnC却在不断增加。其中的Conv-Pool-Conv-Pool-FC-FC-Output是现在用到的卷积网络中的一种很常见的结构。

特点：

1. 参数：6万个
2. 激活函数：sigmod 函数和 tanh 函数
3. 各网络层之间是有关联的，计算复杂，通道数量相同。
4. 模式Conv-Pool-Conv-Pool-FC-FC-Output被广泛采用

AlexNet

参数：6000万个

相比于LeNet突出点：

1. 用于训练图像和数据集时， AlexNet 能够处理非常相似的基本构造模块，这些模块含有大量的隐藏数据单元；
2. 使用了 ReLu 激活函数

VGG-16

 

数字 16，就是指在这个网络中包含 16 个卷积层和全连接层。

特点：

1. 结构简单，采用3*3的过滤器，步长尾1，采用same卷积，通过池化层压缩数据；
2. 参数：1.38亿个参数
3. 网络结构很规整，都是几个卷积层后面跟着可以压缩图像大小的池化层；
4. 卷积层的过滤器数量变化存在一定的规律，由 64 翻倍变成 128，再到 256 和 512；
5. 主要缺点是需要训练的特征数量非常巨大。

残差网络

当神经网络到达一定深度时会很难训练，因为存在梯度消失和梯度爆炸的问题。ResNets网络可以解决这类问题。

ResNets

跳跃连接

（Skip connection），它可以从某一层网络层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层。

我们可以利用跳跃连接构建能够训练深度网络的 ResNets，有时深度能够超过 100 层。

ResNets 是由残差块（Residual block）构建。

残差网络=普通神经网络+跳跃连接

残差块

 

图为神经网络的两层，一般为前向传播过程，也称为主路径（main path）。

计算过程

g是指ReLU函数

如何变成残差网络

将直接拷贝到神经网络深层，在 ReLU 非线性激活函数前加上，这是一条捷径。激活函数变为

通常，会有一个权重矩阵，以便于与匹配，Ws是一个固定矩阵，不需要操作，网络通过学习得到的矩阵或参数，padding 值为 0，用 0 填充。之所以能实现跳跃连接是因为 same 卷积保留了维度，所以很容易得出这个捷径连接，并输出这两个
相同维度的向量（在没有Ws的情况下）。

这里的每一个节点都执行了线性函数和 ReLU 激活函数，所以插入的时机是线性激活函数之后,ReLU激活函数之前。

残差网络=普通神经网络+跳跃连接

为什么残差网络会有效？

对于，使用l2正则化或权重衰减，会压缩W矩阵，对b也可使用。假设W，b均为0，则容易得出

。网络很容易学习这个恒等式，也就是多两层和不多的效果至少是一样的，若是在多两层的情况下，能学习到某些特征，则能得到更好的结果。

对于一个神经网络中存在的一些恒等函数（Identity Function），残差网络在不影响这个神经网络的整体性能下，使得对这些恒等函数的学习更加容易，而且很多时候还能提高整体的学习效率。

1×1卷积核及NIN网络

相同高度和宽度上某一切片上的 32 个数字，这 32 个数字具有不同通道，乘以 32 个权重（将过滤器中的 32 个数理解为权重），然后应用 ReLU 非线性函数，在这里输出相应的结果。

1×1卷积核能压缩数据的信道数（nC），而池化能压缩数据的高度（nH）及宽度（nW）。

如果神经网络的当前一层和下一层都只有一个信道，也就是，那么采用1×1卷积核起不到什么作用的。但是当它们分别为有m和n个信道时，采用1×1卷积核就可以起到跨信道聚合的作用，从而降低（或升高）数据的维度，可以达到减少参数的目的。换句话说，1×1的卷积核操作实现的其实就是一个特征数据中的多个Feature Map的线性组合，（然后应用非线性激活函数）所以这个方法就可以用来改变特征数据的信道数。

Inception网络

作用

代替人工来确定卷积层中的过滤器类型（决定过滤器的大小究竟是 1×1， 3×3 还是 5×5），或者确定是否需要创建卷积层或池化层。

基本思想

 Inception 网络不需要人为决定使用哪个过滤器或者是否需要池化，而是由网络自行确定这些参数，你可以给网络添加这些参数的所有可能值，然后把这些输出连接起来，让网络自己学习它需要什么样的参数，采用哪些过滤器组合。

 

 

 

 

 

 

 

 

 

 

 

GoogleNet--Inception