神经网络与深度学习 3

1、AlexNet

网络结构如下：

 网络一共有8层可学习层，其中包括5层卷积层和3层全连接层

改进：

池化层均采用最大池化

选用ReLU作为非线性环节激活函数

网络规模扩大，参数数量接近6000万

出现“多个卷积层+一个池化层”的结构

普遍规律：随网络深入，宽、高衰减，通道数增加

2、VGG-16

网络结构：

改进：

网络规模进一步增大，参数数量约为1.38亿

由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。

普遍规律：随网络深入，高和宽衰减，通道数增多。

3、残差网络

优势：

梯度消失问题： 

 残差网络构建：

 

4、常用数据集

（1）MNIST

MNIST数据集是由0〜9手写数字图片和数字标签所组成的，由60000个训练样本和10000个测试样本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。

（2）Fashion-MNIST数据集

FashionMNIST 是一个替代 MNIST 手写数字集 的图像数据集。它是由 Zalando旗下的研究部门提供，涵盖了来自 10 种类别的共 7 万个不同商品的正面图片。

FashionMNIST 的大小、格式和训练集/测试集划分与原始的MNIST 完全一致。60000/10000 的训练测试数据划分，28x28的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，且不需要改动任何的代码。

（3）CIFAR 10数据集

CIFAR 10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。

（4）PASCAL VOC数据集

PASCAL的全称是Pattern Analysis，Statistical Modelling and Computational Learning，VOC的全称是Visual Object Classes。目标分类（识别 ）、检测、分割最常用的数据集之一。第一届PASCAL VOC举办于2005年，2012年终止。常用的是PASCAL 2012。一共分成20类：person、bird，cat，cow，dog，horse，sheep、aeroplane，bicycle，boat，bus，car，motorbike，train、bottle，chair，dining table，potted plant，sofa，tv/monitor

（5）MS COCO数据集

PASCAL的全称是Microsoft Common Objects in Context，起源于微软于2014年出资标注的 Microsoft COCO数据集；数据集以scene understanding为目标，主要从复杂的日常场景中截取；包含目标分类（识别） 、检测、分割、语义标注等数据集；ImageNet竞赛停办后，COCO竞赛就成为是当前目标识别、检测等领域的一个最权威、最重要的标杆。提供的标注类别有80类，有超过33万张图片，其中20万张有标注，整个数据集中个体的数目超过150万个。

（6）ImageNet数据集

始于2009年，李飞飞与Google的合作“ImageNet: A Large-Scale Hierarchical Image Database”

总图像数据：14,197,122

总类别数：21841

带有标记框的图像数：1,034,908

（7）  ISLVRC 2012子数据集

训练集：1,281,167张图片+标签

类别数：1,000

验证集：50,000张图片+标签

测试集：100,000张图片

5、数据集与评价指标

（1）算法评估

TP: 被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数。

FP: 被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数。

FN:被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数。

TN: 被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数。

P(精确率）： TP/（TP+FP）

R(召回率）： TP/(TP+FN)。召回率越高，准确度越低

PR曲线：

 

置信度与准确率：

可以通过改变阈值（也可以看作上下移动蓝色的虚线），来选择让系统识别能出多少个图片，当然阈值的变化会导致Precision与Recall值发生变化。比如，把蓝色虚线放到第一张图片下面，也就是说让系统只识别出最上面的那张飞机图片，那么Precision的值就是100%，而Recall的值则是20%。如果把蓝色虚线放到第二张图片下面，也就是说让系统只识别出最上面的前两张图片，那么Precision的值还是100%，而Recall的值则增长到是40%。

（2）AP计算

mAP：均值平均准确率

 其中 代表测试集中所有图片的个数， ( )表示在能识别出 个图片的时候Precision的值，而 Δ ( )则表示识别图片个数从 −1变化到 时（通过调整阈值）Recall值的变化情况。