深度学习（四）

一、提纲

      AlexNet:现代神经网络起源

    VGG:AlexNet增强版

    GoogleNet:多维度识别

    ResNet:机器超越人类识别

    DeepFace:结构化图片的特殊处理

    U-Net:图片生成网络

    实例：解剖VGG，用模型机型网络参数可视化，特征提取，目标检测

二、期待目标

    1.掌握AlexNet结构特点，神经网络各层之间特征传到关系，模型总数计算;

    2.了解VGG,GoogleNet,ResNet模型间的结构特点，简单设计思路;

    3.了解对特殊数据，特殊任务设计的神经网络特点;

    4.深度剖析VGG tf代码，学会对已有模型进行 参数读取，目标检测，特征提取。

三、AlexNet

    1.背景介绍：ImageNet 1000分类模型

    2.传统方法思路：图片特征提取，机器学习分类 （使用特点训练的分类器件），利用像素和像素间的关系）

    3.AlextNet结构：

    

      【227x227x3】INPUT

      【55x55x96】    CONV 1: 96 11X11 filters at stride 4,pad 0

      【27x27x96】    MAX POOL 1:3X3 filters at stride 2

      【27x27x96】   NORM 1: Normalization layer

      【13x13256】    MAX POOL 2:3X3 filters at stride 2

      【13x13x256】 NORM 2:  Normalization layer

      【13x13x384】 CONV 3:384 3X3 filters at  stride 1, pad 1

      【13x13x256】 CONV 4: 384 3X3 filters at  stride 1, pad 1
        【13x13x256】 CONV 4: 384 3X3 filters at  stride 1, pad 1

       【6x6x256】     MAX POOL 3: 384 3X3 filters at  stride 1, pad 1
      【4096】         FC6:4096 neurons

      【4096】         FC7:4096 neurons

      【1000】         FC8:1000 neurons(class scores)

    4.卷积神经网络基本结构：卷积层+池化层+全链接层

三.VGG-AlexNet升级版

    1.VGG-AlexNet对比：卷积层变为卷积群，参数个数：138m-60m  识别率：TOP5效果显著提升了8%左右。

     

    2.VGG作用:  结构简单，同AlexNet结构类似，均为卷积层，池化层，全链接层的组合.

                        性能优异：同AlexNet提升明显，同GoogelNet，ResNet相比，表现相近.

                        选择最多的基本模型：方便进行结构的优化，设计，SSD，RCNN等其他任务的base model.

    3.Fineturning Tricks:在使用VGG作为Base Model时，前几层参数固定，不做更新，只对高层或者附加层进行Update

四.GoogLeNe:多分辨率融合（类似传统方法中的滑动窗口和分辨率金字塔）

    1.结构问题是什么：由于一个卷积群进行多分辨率卷积（卷积核大小不一），因此参数暴增

    2.1x1卷积的好处：减少参数。

五.全卷积结构（FCN）

    1.一般的神经网络：卷积层（CNN）+全链接层（FC）

    2.全卷积层：没有全链接层-----不能用于分类，适合做数据生成

    3.特点：输入图片大小无限制

                    空间信息有丢失（没有全链接层用于学习不同区域间的联系）

                    参数更少，表达力更强

     

六.ResNet(残差网络)

    1.结构特性：特征图经过卷积层+非线性层时和原特征图进行数据融合，融合结果再往后面的网络推进

    

    2.为什么ResNet有效

        2.1前向计算：低层卷积网络和高层卷积网络信息融合；层数越深，模型表达能力越强，低层空间信息更多，高层计算机理解信息越多；

        2.2反向计算：导数传递更直接，越过模型，直达各层，梯度不容易衰减，传统模型虽然ReLU可以防止梯度消失，但是经过多层的ReLU后，图像本身的信息也消失了。

七、DeepFace(结构化图片的特殊处理)

    1.人脸识别数据特点：结构化：所有人脸组成个相似，理论上能够实现对齐，差异化：相同位置形貌不同

    

    2.一般神经网络处理人脸识别的问题

        2.1卷积核同整张图片做卷积运算，卷积核参数共享，不同局部特性对参数影响相互削弱，如鼻子和眼睛。

    3.解决方法：不同区域，不同参数

        3.1 局部卷积：每个卷积核固定某个区域，不移动；不同区域不共享 卷积核;卷积核参数由固定区域数据确定

    

八、U-Net图片生成网络

      1.通过卷积神经网络生成不同类型的图片，图片所有pixel需要生成，多目标回归

      2.基本结构：CONV-FC-CONV

      3.VGG U-Net

    

        3.1上采样：记住原本的位置，在上采样时重新放回原本位置

        3.2逆卷积：具体过程如下图，带学习能力的上卷积，生成图像具有更好的连贯性，更好的空间表达能力