神经网络与深度学习报告（三）

一、经典卷积神经网络架构

1. AlexNet：深度学习的里程碑
AlexNet是深度学习历史上的转折点，由Alex Krizhevsky等人于2012年提出，在ImageNet大规模视觉识别挑战赛（ILSVRC）中以显著优势夺冠。其核心贡献在于首次验证了深度卷积神经网络（CNN）在大规模图像分类任务中的有效性。AlexNet采用5个卷积层和3个全连接层，引入了多项关键技术：

ReLU激活函数：替代传统的Sigmoid函数，缓解梯度消失问题，加速模型训练；

Dropout正则化：在全连接层随机丢弃部分神经元，防止过拟合；

数据增强与多GPU训练：通过图像翻转、裁剪扩展数据集，并利用并行计算提升效率。
AlexNet的成功标志着深度学习时代的开启，推动了GPU加速计算和端到端训练范式的普及。

2. VGG-16：深度规整化网络
牛津大学视觉几何组（VGG）提出的VGG-16网络（2014年）通过“深度规整化”设计理念，证明了网络深度的提升对模型性能至关重要。其核心特点是：

统一的小卷积核：全部使用3×3卷积核堆叠，减少参数量同时增加非线性表达能力；

层级特征提取：通过16层网络（13卷积层+3全连接层）逐步抽象图像语义信息；

全连接层压缩：模型参数集中于全连接层（占总参数量的90%），导致计算成本较高。
尽管参数量庞大，VGG-16凭借其简洁结构和可复现性，成为特征提取的基准模型，广泛应用于迁移学习。

3. 残差网络（ResNet）：解决深度网络退化问题
ResNet（2015年）由何恺明团队提出，通过引入残差学习（Residual Learning）解决了深层网络的梯度消失和性能退化问题。其核心创新在于：

跳跃连接（Skip Connection）：将输入直接传递到后续层，允许网络学习输入与输出的残差（差值）；

残差块结构：堆叠多个由两个3×3卷积层组成的残差块，支持超深网络（如ResNet-152）；

批量归一化（BatchNorm）：加速训练收敛，提升模型鲁棒性。
ResNet在ImageNet上实现3.57%的错误率（超越人类水平），推动网络深度突破千层（如ResNet-1202），成为现代深度模型的基石。

---

二、计算机视觉常用数据集与评价指标

1. 基础分类数据集

MNIST：手写数字识别基准，包含6万训练样本和1万测试样本；

CIFAR-10/100：10类和100类物体分类数据集，图像尺寸32×32，用于轻量级模型验证。

2. 高级视觉数据集

PASCAL VOC：涵盖20类物体的分类、检测和语义分割任务，包含约1.1万张图像，标注密集但场景相对简单；

MS COCO：微软发布的复杂场景理解数据集，包含80类物体、33万张图像，支持检测、分割、关键点等多任务，注重小目标和遮挡场景；

ImageNet：包含1400万张图像、2.1万个类别，推动ImageNet挑战赛成为深度学习“奥林匹克”，加速了AlexNet、ResNet等模型的演进；

JFT-300M：谷歌内部数据集（3亿图像、10亿标签），用于训练超大规模模型（如Vision Transformer），但因隐私问题未公开。

3. 评价指标

精确率（Precision）与召回率（Recall）：
精确率=正确正例预测数/总正例预测数，衡量预测准确性；
召回率=正确正例预测数/实际正例总数，衡量覆盖率。
二者常通过PR曲线综合评估。

平均精度（Average Precision, AP）：
对单类别计算PR曲线下面积，MS COCO进一步提出AP@[0.5:0.95]（多IoU阈值平均）和AP@0.5（传统PASCAL标准）。

---

三、目标检测技术演进与YOLO算法

1. 目标检测方法演进
目标检测需同时完成物体定位（Bounding Box）与分类，其发展可分为两阶段与单阶段方法：

两阶段检测器：
R-CNN系列（Fast R-CNN、Faster R-CNN）首先生成候选区域（Region Proposal），再对区域分类和回归，精度高但速度慢。

单阶段检测器：
YOLO、SSD直接通过卷积网络预测边界框和类别，牺牲少量精度换取实时性（如YOLOv8达100+FPS）。

2. YOLO算法核心思想
YOLO（You Only Look Once）由Joseph Redmon于2016年提出，其核心设计包括：

网格划分（Grid Cells）：将图像划分为S×S网格，每个网格预测多个边界框；

锚框（Anchor Boxes）：预定义不同宽高比的先验框，提升多尺度检测能力；

端到端训练：联合优化分类损失（交叉熵）和定位损失（IoU+坐标误差）；

非极大值抑制（NMS）：滤除重叠冗余预测框，保留置信度最高的结果。
从YOLOv1到YOLOv8，算法持续优化：引入FPN特征金字塔（v3）、自适应锚框（v5）、解耦检测头（v8）等，兼顾速度与精度。

---

总结

经典卷积网络（AlexNet、VGG、ResNet）的演进揭示了深度学习“深度化”与“高效化”的双重趋势，而大规模数据集（如ImageNet、COCO）的构建则为模型训练提供了燃料。目标检测技术的进步（如YOLO）进一步将理论落地于实际应用（自动驾驶、工业质检）。未来，随着Transformer架构的兴起，视觉模型正从“卷积主导”向“多模态融合”发展，但经典架构的设计思想（如残差连接、端到端训练）仍深刻影响着新一代模型的设计。