神经网络与深度学习（第三周笔记）

基本卷积神经网络

1 AlexNet

网络一共有8层可学习层——5层卷积层和3层全连接层
改进:

• 池化层均采用最大池化
• 选用ReLU作为非线性环节激活函数

• 网络规模扩大，参数数量接近6000万
• 出现“多个卷积层+一个池化层”的结构

普遍规律:

• 随网络深入，宽、高衰减，通道数增加

2 VGG-16

改进：

• 网络规模进一步增大，参数数量约为1.38亿
• 由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。

普遍规律：

• 随网络深入，高和宽衰减，通道数增多

3 残差网络

• 普通网络的基准模型受VGG网络的启发
• 卷积层主要有3×3的过滤器，并遵循两个简单的设计规则:①对输出特征图的尺寸相同的各层，都有相同数量的过滤器; ②如果特征图的大小减半，那么过滤器的数量就增加一倍，以保证每一层的时间复杂度相同。
• ResNet模型比VGG网络更少的过滤器和更低的复杂性。ResNet具有34层的权重层，有36亿FLOPs，只是VGG-19（19.6亿FLOPs）的18%。

常用数据集

• MNIST
• CIFAR 10数据集
• PASCAL VOC
• MS COCO
• ImageNet

总结

AlexNet：

AlexNet是2012年由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton提出的一个深度卷积神经网络模型，它在当年的ImageNet大规模视觉识别挑战赛（ILSVRC）上大放异彩，赢得了冠军。这个模型的成功引发了深度学习领域的研究热潮。AlexNet包含五个卷积层和三个全连接层，使用了ReLU作为激活函数，并引入了Dropout和数据增强等技术以防止过拟合。

VGG-16：

VGG-16是2014年由牛津大学视觉几何组（VGG）提出的一种卷积神经网络模型。与AlexNet相比，VGG-16的网络结构更深，具有16个权重层，包括13个卷积层和3个全连接层。VGG-16的一个重要特点是采用多个连续的3×3卷积核代替较大的卷积核（如5×5或7×7），从而减少参数数量并提高模型的泛化能力。

残差网络（ResNet）：

ResNet是2015年由何恺明等人提出的一种深度卷积神经网络模型。ResNet的关键创新是引入了残差模块，通过短路连接（skip connection）解决了深度网络中的梯度消失和梯度爆炸问题，使网络可以训练更深的结构。ResNet有多个版本，如ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152，数字表示网络中层的数量。在多个视觉任务中，ResNet都取得了优异的性能。

总之，AlexNet、VGG-16和ResNet都是深度学习领域里具有代表性的卷积神经网络模型。从AlexNet到VGG-16，再到ResNet，这些模型在深度、宽度和结构上都发生了变化，为计算机视觉任务提供了强大的性能。这些模型的出现和发展推动了深度学习技术在计算机视觉领域的广泛应用。

目标检测

目标检测是在给定的图片中精确找到物体所在位置，并标注出物体的类别。物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，并且物体还可以是多个类别。

YOLO家族

YOLO家族发展史：

• YOLOv1：
  YOLOv1是YOLO的第一个版本，它将目标检测任务作为一个回归问题处理。与传统的目标检测方法（如R-CNN）相比，YOLOv1在保持较高准确性的同时实现了实时检测。YOLOv1将输入图像划分为S×S个网格，每个网格负责预测B个边界框及其置信度，以及C个类别概率。

• YOLOv2（YOLO 9000）：
  YOLOv2在YOLOv1的基础上进行了改进，提高了检测精度。主要的改进包括：采用批量归一化（Batch Normalization）；引入锚框（Anchor Boxes）以解决多尺度目标检测问题；使用高分辨率分类器以提高小目标检测性能；通过多尺度训练策略来提高模型泛化能力。

• YOLOv3：
  YOLOv3进一步改进了YOLOv2，提高了检测速度和准确性。主要的改进包括：采用更深的Darknet-53作为特征提取器；使用多尺度预测以提高多尺度目标检测性能；引入了Focal Loss，使得模型在训练过程中更关注难以检测的目标；同时增加了一些数据增强技术。

• … …
  （未完待续）