深度学习常用网络架构

深度学习常用网络架构

AlexNet 2012

	基本结构：5conv+3fc
	227*227*3——1000*1
	创新:1.RELU激活函数
	     2.dropout层的应用
	     3.重叠的max池化
	     4.LRN层
	  用于图像分类，ILSVRC2012图像分类竟赛第一名，
	  论文：2012《ImageNet Classification with Deep Convolutional Neural Networks》
	  由LeNet所提出的1/多个卷积层后面跟着池化层，这种结构现如今仍然在被频繁使用

VGG 2014(显示了网络深度加深的优异性能)

VGG16:13conv+3fc
VGG19:16conv+3fc	  
VGG网络出现的主要贡献为加深了网络的深度，层数的增加，增加了网络的非线性，
从而能让网络来学习更复杂的模型，并且小卷积核的参数更少。
VGG的结构简单，且网络的结构相对一致，图像缩小的比例和通道数量增加的比例是
有规律的，VGG网络所存在的最大问题是网络的参数太多。

GoogLeNet (Inception)2014(主要作用为加深网络的深度与宽度)

获得高质量模型的最保险的做法是加深网络的深度或者宽度
但是伴随着网络加宽与加深之后会出现如下问题：
1.模型过拟合，当训练数据有限时，这一问题更加明显
2.模型的参数过多，计算复杂度大，难以应用
3.网络加深，在后面层容易出现梯度消失的问题，模型难以进行优化
解决方法是将所有的连接转化成稀疏连接
1*1卷积构建瓶颈层，对数据进行降维，从而大大降低数据的计算成本
Inception模块的创新点在于：不需要人为决定使用哪些滤波器, 让网络自己决定使用哪些滤波器且这些滤波器之间是如何组合的。

ResNet 2015

1.残差结构用于搭建超深网络
2.使用BN层加速训练