神经网络与深度学习-3

一、VGG-16

虽然AlexNet证明深层神经网络卓有成效，但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。 使用块的想法首先出现在牛津大学的视觉几何组的VGG网络中。通过使用循环和子程序，可以很容易地在任何现代深度学习框架的代码中实现这些重复的架构。与AlexNet、LeNet一样，VGG网络可以分为两部分：第一部分主要由卷积层和汇聚层组成，第二部分由全连接层组成。

网络改进：网络规模进一步增大，参数数量约为1.38亿；由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。

二、残差网络

残差操作这一思想起源于论文《Deep Residual Learning for Image Recognition》，文章发现，如果存在某个K层的网络f是当前最优网络，那么可以构造一个更深的网络，其最后几层仅是该网络f第K层输出的恒等映射(Identity Mapping)，就可以取得与f一致的结果；也许K还不是所谓“最佳层数”，那么更深的网络就可以取得更好的结果。总而言之，与浅层网络相比，更深的网络的表现不应该更差。对于非残差网络，更深的网络可能会导致实际损失函数变得更大，而非预期。

 而残差网络能够使得网络层数增加，网络效果不会变的更差，训练损失不会变得更大。

 梯度消失问题：

残差块：假设我们的原始输入为x，而希望学出的理想映射为f(x)。下图虚线框中的部分需要直接拟合出该映射f(x)，而右图虚线框中的部分则需要拟合出残差映射f(x)−x。 残差映射在现实中往往更容易优化。 以本节开头提到的恒等映射作为我们希望学出的理想映射f(x)，我们只需将图中右图虚线框内上方的加权运算（如仿射）的权重和偏置参数设成0，那么f(x)即为恒等映射。 实际中，当理想映射f(x)极接近于恒等映射时，残差映射也易于捕捉恒等映射的细微波动。右图是ResNet的基础架构–残差块（residual block）。 在残差块中，输入可通过跨层数据线路更快地向前传播。

 

普通网络的基准模型受VGG网络的启发;卷积层主要有3×3的过滤器，并遵循两个简单的设计规则①对输出特征图的尺寸相同的各层，都有相同数量的过滤器;②如果特征图的大小减半，那么过滤器的数量就增加一倍，以保证每一层的时间复杂度相同。ResNet模型比VGG网络更少的过滤器和更低的复杂性。ResNet具有34层的权重层，有36亿FLOPs，只是VGG-19（19.6亿FLOPs）的18%。

 

三、常用数据集

MNIST：MNIST 数据集主要由一些手 写数字的图片和相应的标签组成，图片一共有 10 类，分别对应从 0~9。MNIST数据集是由0〜9手写数字图片和数字标签所组成的，由60000个训练样本和10000个测试样 本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。

 Fashion-MNIST数据集：FashionMNIST 是一个替代 MNIST 手写数字集 的图像数据集。 它是由 Zalando旗下的研究部门提供，涵盖了来自 10 种类别的 共 7 万个不同商品的正面图片。FashionMNIST 的大小、格式和训练集/测试集划分与原始的 MNIST 完全一致。60000/10000 的训练测试数据划分，28x28 的灰度图片。你可以直接用它来测试你的机器学习和深度学习 算法性能，且不需要改动任何的代码。以下是数据集中的类，以及来自每个类的10个随机图像：

 CIFAR-10数据集：CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每 个类有6000个图像。有50000个训练图像和10000个测试图像。数据集分为五个训练批次和一个测试批次，每个批次有10000 个图像。测试批次包含来自每个类别的恰好1000个随机选择的 图像。

PASCAL VOC数据集：PASCAL的全称是Pattern Analysis, Statistical Modelling and Computational Learning。VOC的全称是Visual Object Classes。目标分类(识别)、检测、分割最常用的数据集之一。一共分成20类： person，bird, cat, cow, dog, horse, sheep， aeroplane, bicycle, boat, bus, car, motorbike, train ，bottle, chair, dining table, potted plant, sofa, tv/monitor。

MS COCO数据集：PASCAL的全称是Microsoft Common Objects in Context，起源于微软于2014年出资标注的 Microsoft COCO数据集；数据集以scene understanding为目标，主要从复杂的日常场景中截取；包含目标分类（识别） 、检测、分割、语义标注等数据集；ImageNet竞赛停办后，COCO竞赛就成为是当前目标识别、检测等领域的一个最权威、最重要的标杆。提供的标注类别有80类，有超过33万张图片，其中20万张有标注，整个数据集中个体的数目超过150万个。
mageNet数据集与ILSVRC：ImageNet数据集始于2009年，李飞飞与 Google 的合作：“ImageNet: A Large Scale Hierarchical Image Database”
总图像数据：14,197,122
总类别数：21841
带有标记框的图像数：1,034,908
ISLVRC 2012子数据集
训练集：1,281,167张图片+标签
类别数：1,000
验证集： 50,000 张图片+标签
测试集：100,000张图片

总结：经典网络：以“一个或多个卷积层+一个池化层“作为一个基本 单元进行堆叠，在网络尾部使用全连接层，最后以Softmax为分 类器，输出结果。

残差网络：在普通网络的基础上，将浅层的激活项通过支路直接 传向深层，克服深层神经网络中梯度消失的问题，为训练极深的 神经网络提供便利。

数据集：常见的数据集包括VOC和COCO；ImageNet较大

四、目标检测与YOLO

目标检测：是在给定的图片中精确找到物体所在位置，并标注出物体的类别。 物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图 片的任何地方，并且物体还可以是多个类别。

算法评估：
TP: 被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数
FP: 被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数
FN:被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数
TN: 被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数
P(精确率）： TP/（TP+FP）
R(召回率）： TP/(TP+FN)。召回率越高，准确度越低
置信度与准确率：调整阈值可改变准确率或召回值。可以通过改变阈值（也可以看作上下移动蓝色的虚线），来选择 让系统识别能出多少个图片，当然阈值的变化会导致Precision与 Recall值发生变化。

AP计算：每一个类别均可确定对应的AP， 多类的检测中，取每个类AP的平均值，即为mAP。

mAP：均值平均准确率

其中𝑁代表测试集中所有图片的个数，𝑃(𝑘)表示在能识别出𝑘个图片的时候 Precision的值，而 Δ𝑟(𝑘)则表示识别图片个数从𝑘 − 1变化到𝑘时（通过调整阈 值）Recall值的变化情况。