CNN结构演化

前言
文章仅给出各个模型的大概结构，详细内容请参考相关的论文及博客，在文章中我也会推荐一些资料。
一、早期尝试—1998 LeNet 网络结构

详细介绍和代码实现请参考这里：LeNet
二、历史突破—2012 AlexNet

这是其网络结构，看着比较抽象，我们可以结合具体实现代码来看一下模型结构

Sequential容器封装了这个模型的结构，可以很清楚的看到每一层都是用了什么，无非就是卷积层、激活层、池化层等组合，最后加了全连接层和一些归一化的措施。
具体资料请参考:这里
————————————————————————————————————————————
自AlexNet之后，CNN网络朝着不同的方向演化。
1、2014-VGG Net 系列及2015-MSRA Net 系列：网络加深
2、2013-MLP系列，代表性的模型是13年颜水成老师提出的NIN模型(创新点在于使用MLP卷积(即每个卷积的局部感受野中还包含了一个微型的多层网络)、GAP池化、)，他用GAP代替FC等避免了过拟合；

14年在NIN的基础上，Google提出了GoogLeNet(即Inception V1版本)，随后又提出了V3 、V4等不同的改进版本。inception结构的主要思想在于卷积视觉网络中一个优化的局部稀疏结构怎么样能由一系列易获得的稠密子结构来近似和覆盖。由一个网络层中的网络、一个中等大小的过滤卷积、一个大型的过滤卷积、一个操作池（pooling operation）组成。网络卷积层中的网络能够提取输入体积中的每一个细节中的信息，同时5x5的滤波器也能够覆盖大部分接受层的的输入，进而能提起其中的信息。你也可以进行一个池操作，以减少空间大小，降低过度拟合。在这些层之上，你在每一个卷积层后都有一个ReLU，这能改进网络的非线性特征。

详细的Inception介绍请参考：这里
说到Inception，这里要提一下比较火的Xception，即极端化的Inception结构，也就是所谓的深度可分离卷积，可以实现通道相关性和空间相关性的解耦。卷积神经网络中的Inception模块是在普通卷积和深度可分卷积操作（深度卷积后逐点卷积）之间的一种中间状态。基于此，深度可分卷积可以理解为最大数量tower的Inception模块。
！！！集成了1和2，并且取得历史性突破的一个模型网络就是有中国大神何凯明博士提出的ResNet网络模型，ResNet网络是参考了VGG19网络，在其基础上进行了修改，并通过短路机制加入了残差单元。极大的突破了模型的深度，甚至达到了152层！这里就不多说了，具体可参考：这里！！！
以上的演化路径基本都是按照增强卷积模块功能这么个思路来推进的
3、R-CNN、RPN、Faster R-CNN(对低效R-CNN的优化，明显提高了速度) 、SPP(空间金字塔池化等)提出，使CNN的结构从分类任务拓展到了检测任务，CNN也可以用来做检测了！
4、增加新的功能模块，注意与2进行区分，增加与增强的区别。

三、总结
最后附上一张CNN演变图以及我的手写笔记。



若转载请说明出处！！！