一、提纲
AlexNet:现代神经网络起源
VGG:AlexNet增强版
GoogleNet:多维度识别
ResNet:机器超越人类识别
DeepFace:结构化图片的特殊处理
U-Net:图片生成网络
实例:解剖VGG,用模型机型网络参数可视化,特征提取,目标检测
二、期待目标
1.掌握AlexNet结构特点,神经网络各层之间特征传到关系,模型总数计算;
2.了解VGG,GoogleNet,ResNet模型间的结构特点,简单设计思路;
3.了解对特殊数据,特殊任务设计的神经网络特点;
4.深度剖析VGG
tf代码,学会对已有模型进行
参数读取,目标检测,特征提取。
三、AlexNet
1.背景介绍:ImageNet 1000分类模型
2.传统方法思路:图片特征提取,机器学习分类
(使用特点训练的分类器件),利用像素和像素间的关系)
3.AlextNet结构:
【227x227x3】INPUT
【55x55x96】
CONV 1: 96 11X11 filters at stride 4,pad 0
【27x27x96】
MAX POOL 1:3X3 filters at stride 2
【27x27x96】
NORM 1: Normalization layer
【13x13256】
MAX POOL 2:3X3 filters at stride 2
【13x13x256】
NORM 2:
Normalization layer
【13x13x384】
CONV 3:384 3X3 filters at stride 1, pad 1
【13x13x256】
CONV 4:
384 3X3 filters at stride 1, pad 1
【13x13x256】 CONV 4: 384 3X3 filters at stride 1, pad 1
【13x13x256】 CONV 4: 384 3X3 filters at stride 1, pad 1
【6x6x256】
MAX POOL 3:
384 3X3 filters at stride 1, pad 1
【4096】 FC6:4096 neurons
【4096】 FC6:4096 neurons
【4096】 FC7:4096 neurons
【1000】 FC8:1000 neurons(class scores)
4.卷积神经网络基本结构:卷积层+池化层+全链接层
三.VGG-AlexNet升级版
1.VGG-AlexNet对比:卷积层变为卷积群,参数个数:138m-60m 识别率:TOP5效果显著提升了8%左右。
2.VGG作用: 结构简单,同AlexNet结构类似,均为卷积层,池化层,全链接层的组合.
性能优异:同AlexNet提升明显,同GoogelNet,ResNet相比,表现相近.
选择最多的基本模型:方便进行结构的优化,设计,SSD,RCNN等其他任务的base model.
3.Fineturning Tricks:在使用VGG作为Base Model时,前几层参数固定,不做更新,只对高层或者附加层进行Update
四.GoogLeNe:多分辨率融合(类似传统方法中的滑动窗口和分辨率金字塔)
1.结构问题是什么:由于一个卷积群进行多分辨率卷积(卷积核大小不一),因此参数暴增
2.1x1卷积的好处:减少参数。
五.全卷积结构(FCN)
1.一般的神经网络:卷积层(CNN)+全链接层(FC)
2.全卷积层:没有全链接层-----不能用于分类,适合做数据生成
3.特点:输入图片大小无限制
空间信息有丢失(没有全链接层用于学习不同区域间的联系)
参数更少,表达力更强
六.ResNet(残差网络)
1.结构特性:特征图经过卷积层+非线性层时和原特征图进行数据融合,融合结果再往后面的网络推进
2.为什么ResNet有效
2.1前向计算:低层卷积网络和高层卷积网络信息融合;层数越深,模型表达能力越强,低层空间信息更多,高层计算机理解信息越多;
2.2反向计算:导数传递更直接,越过模型,直达各层,梯度不容易衰减,传统模型虽然ReLU可以防止梯度消失,但是经过多层的ReLU后,图像本身的信息也消失了。
七、DeepFace(结构化图片的特殊处理)
1.人脸识别数据特点:结构化:所有人脸组成个相似,理论上能够实现对齐,差异化:相同位置形貌不同
2.一般神经网络处理人脸识别的问题
2.1卷积核同整张图片做卷积运算,卷积核参数共享,不同局部特性对参数影响相互削弱,如鼻子和眼睛。
3.解决方法:不同区域,不同参数
3.1
局部卷积:每个卷积核固定某个区域,不移动;不同区域不共享
卷积核;卷积核参数由固定区域数据确定
八、U-Net图片生成网络
1.通过卷积神经网络生成不同类型的图片,图片所有pixel需要生成,多目标回归
2.基本结构:CONV-FC-CONV
3.VGG U-Net
3.1上采样:记住原本的位置,在上采样时重新放回原本位置
3.2逆卷积:具体过程如下图,带学习能力的上卷积,生成图像具有更好的连贯性,更好的空间表达能力