卷积神经网络的分布式训练（一）ResNet

卷积神经网络的分布式训练（一）ResNet

该专题是我本科毕设的各个知识点介绍和分析，以及一些实验结果展示。本科毕业了，研究生开学，又进入了一个新的学习阶段，那么趁着有时间就总结一下这个课题，分享给大家~
如果你觉得对你有帮助，给我点赞吧！小女子能力有限，也欢迎大家批评指正。

一、ResNet 介绍

ResNet（Residual Neural Network ）
优点：解决网络退化、梯度消失和梯度爆炸等问题。

干货来咯~接下来将详细介绍ResNet的原理和层次种类。

基本原理

ResNet解决网络退化问题的关键：特殊的残差模块。

从图1可以看出，数据在经过网络时可以选择两条路径，一条是正常的路径，另一条是便捷的路径。这个捷径也就是残差网络中的ShortCut连接机制，它很像日常生活中的电路“短路”，可以将一个深层次的网络变成一个浅层次的网络。假设我们把神经网络中的一个模块的输入和输出关系看作y=H(x)，x是输入，y是输出。如果通过正常的路径来对数据进行处理，那么直接通过梯度方法求得的H(x)就会出现退化问题。然而，如果通过ShortCut连接机制来处理数据，那么神经网络中可变参数的优化目标就不仅仅是H(x)，而是H(x)=F(x)+x，则F(x)=H(x)-x，F(x)是可以进行优化的部分，对应着残差。因此，当输入数据时，神经网络只需要去学习输入和输出的差值即可，这样学习起来简单了很多。

图1 ResNet残差模块的结构图[1]

图2 ResNet普通残差模块和瓶颈模块的结构图[1]

ResNet的残差模块又可以分为两种类型的结构，一种是普通的残差模块结构，另一种是瓶颈模块结构。普通的残差模块结构只有两个层次，并且它们的卷积大小都是33。瓶颈模块结构，顾名思义，也就是它的卷积层的大小像“瓶颈”一样发生了变化，瓶颈模块结构一共有三层，比普通的残差模块多了一层，因此可以增加神经网络的深度。瓶颈模块只有第二层的卷积大小是33，第一层和第三层的卷积大小都是1*1，第一层负责缩小维度让第二层获地更少的通道数，第三层负责扩大维度来恢复通道数。

层次种类

ResNet一共有五种类型的层次，分别为18层、34层、56层、101层和152层，不管一个ResNet有多少层，它都是由四个基本的模块构成，每个基本模块又由多个残差模块组成。不同的是18层和34层的ResNet使用的是普通残差模块结构，50层、101层和152层的ResNet使用的是瓶颈模块结构。

图3 不同层数的ResNet网络结构[1]

二、网络模型结构设计

建立神经网络模型的方法就是构建它的预处理模块、每个基本单元（包含多个ResBlock）、池化层和全连接层，最后用一个向前传播函数将他们连接起来即可。

1、预处理模块

根据你的数据格式处理即可。

2、基本单元

ResNet-34中有四个大的基本单元，而每一个基本单元又是由多个残差模块（ResBlock）组成，每个基本单元的ResBlock个数分别是：第一个单元3个ResBlock，第二个单元6个ResBlock ，第三个单元4个ResBlock 第四个单元3个ResBlock。如图4所示，每一个ResBlock由两个基本模块（BasicBlock）构成，BasicBlock是由卷积层、BN层（Batch Normalization）和激活函数组成。

图4 ResNet残差模块的基本结构图

3、池化层

池化层采用的是平均池化层，它的作用是汇总空间信息，缩小模型的大小，提高计算的速度。

4、全连接层

全连接层的作用是整合之前的层次提取出来的特征，对数据进行分类。

图5 构建的ResNet结构图

参考文献

[1] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition; proceedings of the IEEE Conference on Computer Vision & Pattern Recognition, F, 2016 [C].