Convolutional Neural Networks（week 2）——Deep convolutional models: case studies

(一)case study

一、Why look at case studies

计算机视觉领域的相关论文，别人训练的模型可能对自己也是有帮助的，如何构建高效的卷积神经网络

二、Classic Networks

1.LeNet-5:传统的几层卷积--池化--卷积--全连接层--全连接层---输出,整体大概有6万个参数

2.AlexNet：与LeNet很相似，但它大概有6千万个参数

这篇论文的一个作用是：深度学习最早在语音识别等领域受到较大关注，但这篇论文使得在计算机视觉上进展较大

3.VGG-16（VGG），还有VGG-19是更大的神经网络

结构简单，更能关注卷积层，VGG的优点是真正简化了神经网络结构

但其网络中共有1亿3千8百万个参数，在每组卷积层通道数双倍增加，即通道数依次为64 128 256 512

按比率减少或增加

阅读顺序：Alex，VGGNET， LeNet

三、ResNets

看过上述三个传统深度神经网络之后，下边几个是较为先进的神经网络

太深的神经网络具有梯度消失和爆炸等问题

skip connection,把一层突然传递给下一层甚至更深的神经网络，据此可以训练网络层很深很深的残差网络（ResNet）

指的是a[l]跳过一层或跳过两层将信息传递到更深的神经网络中，其中，如a[l]跳到z[l+2]部分，即在z[l+2]部分加上a[l]作为残差项，然后计算relu值

每两层做一次改变，五个残差网络堆积在一起，较plain network而言，不会随网络层数的增加而性能会出现减弱的现象

即在训练很深的神经网络时，可以使用ResNet进行优化

四、Why ResNets Work

残差网络有效果的原因是：

使用太深层的网络会使训练集的训练效果减弱

把残差块加到神经网络的中间或尾部并不会影响神经网络的表现

五、Networks in Networks and 1x1 Convolutions

1X1的卷积，相当于全连接层进行计算，有时也叫做网中网（network in network）

缩小通道数目（卷积）以达到减少计算量的目的

不改变通道数时，其作用主要是增加非线性

六、Inception Network Motivation

对于5X5的卷积核来说，共要进行1.2亿次计算

 

共进行1240万，是第一个方法的1/10

即1X1卷积形成了瓶颈层，降低了计算量

七、Inception Network

(二)Prctical advices for using ConvNets

一、Using Open-Source Implementation

从选择喜欢的框架开始→找开源的代码实现（去github下载好）→在下载好的代码上开发

好处是，也许很长时间来训练，有人已经用多个GPU和大数据训练好了，直接使用进行迁移学习

二、Transfer Learning

公开的图像数据库：ImageNet,MSCOCO,PASCAL

 可以下载训练好的网络

三、Data Augmentation   

增加数据量

四、State of Computer Vision

 

 

目前数据虽然很多，但满足需求的并不多，还在很大程度上依赖于人工设计。