神经网络与深度学习（week3）

基本卷积神经网络

1.AlexNet

1.1网络结构 

1.2网络说明

网络一共有8层可学习层——5层卷积层和3层全连接层

改进：

-池化层均采用最大池化

-选用ReLU作为非线性环节激活函数 -网络规模扩大，参数数量接近6000万

-出现“多个卷积层+一个池化层”的结构

普遍规律 ：

-随网络深入，宽、高衰减，通道数增加

如图，左侧连接数，右侧参数。

1.3网络改进

（1）改进输入样本

        最简单、通用的图像数据变形的方式。

        从原始图像（256,256）中，随机的crop出 一些图像（224,224）。【平移变换，crop 】

        水平翻转图像。【反射变换，flip】

        给图像增加一些随机的光照。【光照、彩 色变换，color jittering】

（2）改进激活函数

        采用ReLU替代Tan Sigmoid；用于卷积层和全连接层之后。 

（3）添加Dropout

  

        在每个全连接层后面使用一个 Dropout 层,以概率 p 随机关闭激活函数。

（4）采用双GPU策略

        AlexNet使用两块GTX580显卡进行训练，两块显卡只需要在特定的层进行通信。

2.VGG-16 

2.1网络结构

 2.2网络说明

改进 ：

-网络规模进一步增大，参数数量约为1.38亿。

-由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。

普遍规律 ：

-随网络深入，高和宽衰减，通道数增多。

2.3为什么需要残差网络

由于非残差网络的缺陷和残差网络的优势

梯度消失问题 

 

2.4构建残差网络

 残差块

 

 

 

3深度学习视觉应用

3.1评价指标

TP: 被正确地划分为正例的个数

FP: 被错误地划分为正例的个数

FN:被错误地划分为负例的个数

TN: 被正确地划分为负例的个数

P(精确率）： TP/（TP+FP）

R(召回率）： TP/(TP+FN)。召回率越高，准确度越低

P-R的关系曲线图，表示了召回率和准确率之间的关系:精度(准确率)越高,召回率越低

调整阈值可改变准确率或召回值

P-R曲线

mAP：均值平均准确率

每一个类别均可确定对应的AP

多类的检测中，取每个类AP的平均值，即为mAP 

4.目标检测

4.1 目标检测问题

  目标检测是在给定的图片中精确找到物体所在位置，并标注出物体的类别。 物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图 片的任何地方，并且物体还可以是多个类别。