深度学习中的一些神经网络

一些学习记录

1 ShuffleNet

由于深度学习模型结构越来越复杂，参数量也越来越大，需要大量的算力去做模型的训练和推理。然而随着移动设备的普及，将深度学习模型部署于计算资源有限基于ARM的移动设备成为了研究的热点。
ShuffleNet[1]是一种专门为计算资源有限的设备设计的神经网络结构，主要采用了pointwise group convolution 和 channel shuffle两种技术，在保留了模型精度的同时极大减少了计算开销。

2 MobileNet

MobileNet网络拥有更小的体积，更少的计算量，更高的精度。在轻量级神经网络中拥有极大的优势。

3 Inception

在普通的CNN中每次我们要么用一堆同样大小的过滤器，或者加一个池化层，而Inception模块则是想要在一层的运算中集合这几种运算：

Inception模块会将之前层的激活或者输出作为它的输入，上图中这是一个28×28×192的输入，和之前视频中的一样。

①第三行：先通过一个1×1的层，再通过一个5×5的层，1×1的层可能有16个通道，而5×5的层输出为28×28×32，共32个通道。

②第二行：为了在这个3×3的卷积层中节省运算量，你也可以做相同的操作，这样的话3×3的层将会输出28×28×128。

③第一行：直接通过一个1×1的卷积层，这时就不必在后面再跟一个1×1的层了，这样的话过程就只有一步，假设这个层的输出是28×28×64。

④第四行：最后是池化层。

3.1 Xception

Xception是Google公司继Inception后提出的对 Inception-v3 的另一种改进。作者认为，通道之间的相关性与空间相关性最好要分开处理。于是采用 Depthwise Separable Convolution来替换原来 Inception-v3中的卷积操作。在基本不增加网络复杂度的前提下提高了模型的效果。

4 VGG-16

vgg16总共有16层，13个卷积层和3个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复三次三个512个卷积核卷积后，再pooling，最后经过三次全连接。官方的vgg16网络结构图:

5 ResNet

特点：1.超深的网络结构（超过1000层）。
2.提出residual（残差结构）模块，减轻退化问题
3.使用Batch Normalization 加速训练（丢弃dropout）。

5.1 ResNeXt

传统的要提高模型的准确率，都是加深或加宽网络，但是随着超参数数量的增加（比如channels数，filter size等等），网络设计的难度和计算开销也会增加。 ResNeXt 网络可以被视作对 ResNet 的小幅升级， ResNeXt 结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量

5.2 ResNeXt

它的基本思路与ResNet一致，但是它建立的是前面所有层与后面层的密集连接（dense connection），它的名称也是由此而来。相比ResNet，DenseNet提出了一个更激进的密集连接机制：即互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入。

6 AlexNet

在AlexNet网络问世之前，大量的学者在进行图像分类、分割、识别等工作时，主要是通过对图像进行特征提取或是特征+机器学习的方法。但是，这种手工准确提取特征是非常难的事情，而且即便使用机器学习的方法，整个算法的鲁棒性依然存在较大的问题。因此，一直都有一种讨论：特征是不是也是可以进行学习的？如果是可以学习的，那么特征的表示是不是也存在层级问题（例如第一层为线或是点特征，第二层为线与点组成的初步特征，第三层为局部特征）？从这一思想出发，特征可学习且自动组合并给出结果，这是典型的“end-to-end”，而特征学习与自由组合就是深度学习的黑盒子部分。AlexNet出现后打破了原来众多学者的认知，它首次证明了学习到的特征可以超越手工设计的特征，从而越来越多的人开始重新审视深度学习算法并加入到研究的浪潮中。
Alexnet共有8层结构，前5层为卷积层，后三层为全连接层，如下图：

参考

1 Inception网络（Inception Network）
2 详解DenseNet(密集连接的卷积网络)
3 AlexNet网络结构详解（含各层维度大小计算过程）与PyTorch实现