详解深度学习之经典网络架构（十）：九大框架汇总

目录

0、概览

1、个人心得

2、总结

---

深度学习经典框架的汇总。

转自：https://blog.csdn.net/chenyuping333/article/details/82526440#0%E3%80%81%E6%A6%82%E8%A7%88。

27种网络结构（包括玻尔兹曼机、自编码、深度信念网络等）：https://infoq.cn/article/teach-you-how-to-read-all-kinds-of-neural-networks

0、概览

（1）详解深度学习之经典网络架构（一）：LeNet

（2）详解深度学习之经典网络架构（二）：AlexNet

（3）详解深度学习之经典网络架构（三）：ZFNet

（4）详解深度学习之经典网络架构（四）：VGG-Net

（5）详解深度学习之经典网络架构（五）：GoogLeNet 四代(Inception v1、v2、v3、v4)

（6）详解深度学习之经典网络架构（六）：ResNet 两代（ResNet v1和ResNet v2）

（7）详解深度学习之经典网络架构（七）：DenseNet

（8）详解深度学习之经典网络架构（八）：ResNeXt

（9）详解深度学习之经典网络架构（九）：DPN（Dual Path Network）

1、个人心得

（1）LeNet：元老级框架，结构简单，却开创了卷积神经网络的新纪元，具有重要的学习价值。

（2） AlexNet：打开了深度学习的大门，深度学习成为学术界的新宠。主要意义在于验证了神经网络的有效性，为后续的发展提供了参考。

（3）ZF-Net：这个在Alex上改进较少，主要贡献是2点：

a）由AlexNet的双GPU改为单GPU上训练;

b）对神经网络的每一层都进行了可视化，这是最主要的贡献。

（4）VGG-Net：在AlexNet的基础上，提出了更深的网络，分别为VGG-16和VGG-19，参数是AlexNet的三倍，为后面的框架提供了方向：加深网络的深度。

（5）GoogLeNet：有四个版本，主要是在网络宽度上进行了改进，不像VGG-Net只是单纯增加深度，在同一层中使用了多个不同尺寸的卷积，以获得不同的视野，最后级联（直接叠加通道数量），这就是Inception module从v2开始，进一步简化把Inception module中的n×n模块分解为1×n和n×1的组合，减少了参数数量，v3进一步把最开始的7×7卷积和其他非3×3进行分解，v4引入了ResNet残差的思想。

（6）ResNet：首次提出了残差的思想（跨层连接，即），解决了网络过深而导致的梯度消失的问题，为更深的网络提供了有力的方向。注意：

a）此处的跨层连接的计算方式和GoogLeNet中的级联不同，这里是每个通道进行相加操作，如果的通道数和的通道数不同，则对用1×1的卷积操作，使得维度一样；

b）有有两个版本v1和v2，v2只是引入了BN（banch normalization），并讨论的BN放置位置的问题，其他思想一样。

（7）DenseNet：比ResNet来的更加彻底，即当前的每一层都和前面的每一层连接。这里有两点值得注意：

a）为了解决每个输入的尺寸不一样的问题，因此提出了Dense block，即在这个模块中才进行每一层的连接，这样便于控制输入尺寸的大小，Dense block模块之间就可以放心的使用池化操作了;   

b）此处的连接的计算方式为级联（直接叠加通道数量），和GoogLeNet一样，和ResNet不同。

（8）ResNeXt：在ResNet的基础上，借鉴GoogLeNet的思想，增加了网络的宽度，同时，为了简化设计的复杂度，不像Inception module里面采用了不同尺寸的卷积，这里使用相同的的卷积，并用了32个，最后每个通道相加，和Inception module的级联不同。

（9）DPN：一种双通道网络，结合了ResNet和DenseNet的优点，具有一定的参考价值。

2、总结

深度学习还有很大的发展空间，这里总结的是一些经典网络架构，还有很多有意思的网络架构，可以参考我以后的博客，会不定时更新一些最新的技术。