神经网络与深度学习课程总结（2）

1 为什么要“深度”学习

1.1 全连接网络问题

• 全连接网络：连接权过多，计算速度慢，难以收敛，同时容易陷入局部极小值，也容易产生过拟合问题。
  • 例如：输入为1000×1000图像，隐含层有1M个节点，则输入到隐含层间有1×10^12数量级的参数。
• 解决方法：减少权值连接，每一个节点只连接到上一层的少数神经元，即局部连接网络。

1.2 深度学习平台简介

支持的平台和语言

• TensorFlow (Google): 支持 Python/C++/Java/Go，适用于 Linux/Mac OS/Android/iOS。
• Caffe (UC Berkeley): 支持 Python/C++/Matlab，适用于 Linux/Mac OS/Windows。
• JAX (Google): 支持 Python，适用于 Linux/Windows。
• MXNet (Amazon/DMLC): 支持 Python/C++/Matlab/Julia/Go/R/Scala，适用于 Linux/Mac OS/Windows/Android/iOS。
• Torch/PyTorch (Facebook): 支持 C/Python 等，适用于 Linux/Mac OS/Windows/Android/iOS。
• PaddlePaddle (百度): 支持 Python，适用于 Linux/Windows。
• MMDetection (商汤/港中文): 支持 Python，适用于 Linux/Windows。

库的比较

• 对比了 TensorFlow, Caffe, JAX, MXNet, Torch/Pytorch, PaddlePaddle, 和 MMDetection 在学习材料丰富程度、CNN建模能力、RNN建模能力、易用程度、运行速度、多GPU支持等方面的表现。

1.3 PyTorch 简介

• PyTorch 是一个 Python 的深度学习库，最初由 Facebook 人工智能研究小组开发，用于概率编程。
• 除 Facebook 外，Twitter、GMU 和 Salesforce 等机构都采用了 PyTorch。
• 据统计，已有 80% 的研究采用 PyTorch。
• 比较了 PyTorch 和 TensorFlow2 的上手难易度、部署能力、支持动态图、函数的简洁与灵活度等方面。

1.4 PyTorch基本使用

基本概念

• 张量(Tensor)：是一个物理量，可以简单理解为一维数组为矢量，二维数组为二阶张量，三维数组为三阶张量……
• 计算图：用结点(nodes)和线(edges)的有向图来描述数学计算，其中节点通常表示施加的数学操作，线表示节点之间的输入/输出关系。

2卷积神经网络基础

2.1 进化史

卷积神经网络（CNN）的发展经历了从早期简单结构到现代复杂深层网络的转变。以下是其发展的关键里程碑：

• LeNet-5: 早期的卷积神经网络，由Yann LeCun在1998年提出，主要用于手写数字识别。它的成功展示了深度学习在图像识别领域的潜力。

• AlexNet: 在2012年ImageNet挑战中大放异彩的网络，由Alex Krizhevsky等人开发。它的成功引起了对深度学习和卷积神经网络的广泛关注。

• VGGNet: 由牛津大学的研究人员在2014年开发，其创新在于使用了小尺寸的卷积核，增加了网络的深度，展示了深度对网络性能的重要性。

• GoogLeNet (Inception): 也是在2014年提出，引入了Inception模块，通过并行的不同尺寸卷积核和池化层提取特征，有效增加了网络的宽度和深度。

• ResNet: 由微软研究院的研究人员在2015年提出，通过引入残差学习的概念，成功训练了超过1000层的深度神经网络，大大推动了深度学习的研究和应用。

2.2 基本概念

特征提取

卷积神经网络通过卷积层提取图像特征，卷积操作可以捕获图像的局部特征。在图像卷积时，根据定义，需要首先把卷积核上下左右翻转，但在实际操作中，由于卷积核通常是对称的，这一步骤可以被忽略。

填充（Padding）

填充是在矩阵的边界上添加一些值的操作，常用0或复制边界像素进行填充。这样做可以控制卷积操作后的输出大小。

步长（Stride）

步长定义了卷积核移动的间隔，步长为2意味着卷积核每次移动两个像素。

多通道卷积

在处理彩色图像时，卷积操作会考虑RGB三个颜色通道。每个通道使用独立的卷积核，然后将结果相加，得到最终的特征图。

池化（Pooling）

池化是另一种减少特征维度的操作。通过局部统计特征（如取局部平均或最大值）来减少数据的空间大小，同时保留重要信息。

2.3 学习算法

前向传播

在卷积神经网络中，前向传播涉及对输入图像进行一系列卷积、激活和池化操作，每一层都在前一层提取的特征基础上进一步提取高级特征。

误差反向传播

误差反向传播算法用于训练卷积神经网络，通过计算损失函数相对于网络参数的梯度，并使用这些梯度更新参数。对于卷积层和池化层，梯度的计算涉及特定的公式。

卷积神经网络是深度学习中最成功的模型之一，特别是在图像处理和视觉识别任务中。理解其基本概念和学习算法对于深入研究和应用CNN至关重要。

3 LeNet-5网络

LeNet-5网络是深度学习历史上的经典网络之一，由Yann LeCun等人在1998年提出，主要用于手写数字识别。其结构简单而高效，对后来的深度学习模型设计产生了深远影响。

3.1 网络介绍

LeNet-5网络主要由卷积层、池化层和全连接层组成，总共有7层（不包括输入层）。它的特点是采用了卷积操作来提取图像中的局部特征，通过池化层减少参数数量和计算量，最后通过全连接层完成分类任务。

3.2 结构详解

C1层（卷积层）

• 由6个卷积核构成，每个卷积核的大小为5x5，步长为1。
• 每个卷积核对输入图像进行卷积操作，生成6个特征图（feature maps）。
• 特征图的大小由输入图像的大小决定，对于32x32的输入图像，输出的特征图大小为28x28。

S2层（池化层）

• 也称为下采样层，采用平均池化方法。
• 对C1层的每个特征图进行下采样，将2x2的区域池化为单个像素，输出的特征图大小变为14x14。
• 这一层旨在减少数据的空间大小，保留重要特征的同时减少计算量。

C3层（卷积层）

• 由16个卷积核构成，每个卷积核大小为5x5。
• 不同于C1层，C3层的每个卷积核可能不会连接到S2层的所有6个特征图上，这种设计旨在提取更抽象的高级特征。

S4层（池化层）

• 同S2层，采用平均池化方法。
• 对C3层的输出进行下采样，输出的特征图大小变为5x5。

C5层（卷积层）

• 由120个卷积核构成，每个卷积核大小为5x5。
• 由于前一层输出的特征图大小为5x5，C5层的卷积操作实际上使每个特征图只产生一个输出值，因此C5层也被视为全连接层的一部分。

F6层（全连接层）

• 由84个神经元构成，全连接到C5层的输出上。
• 该层的输出将被送入最终的分类器。

输出层

• 使用RBF（径向基函数）作为激活函数，每个类别一个输出单元。
• 输出层的设计取决于特定的任务，对于手写数字识别，通常设计为10个输出单元，对应10个数字类别。

3.3 LeNet5代码实现

PyTorch提供了方便的工具来实现LeNet-5网络：

import torch
from torch import nn
from d2l import torch as d2l

class Reshape(torch.nn.Module):
    def forward(self, x):
        return x.view(-1, 1, 28, 28)

net = torch.nn.Sequential(
    Reshape(),
    nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
    nn.AvgPool2d(kernel_size=2, stride=2),
    nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
    nn.AvgPool2d(kernel_size=2, stride=2),
    nn.Flatten(),
    nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
    nn.Linear(120, 84), nn.Sigmoid(),
    nn.Linear(84, 10))

4 基本卷积神经网络

4.1 AlexNet

网络提出

AlexNet是由Alex Krizhevsky等人在2012年提出的深度卷积神经网络。它在ImageNet LSVRC-2012竞赛中获得了第一名，大幅降低了错误率，标志着深度学习时代的到来。

网络结构

AlexNet包含8层可学习的参数层，分别是5层卷积层和3层全连接层。网络引入了ReLU非线性激活、最大池化、丢弃（Dropout）和局部响应归一化等新颖技术，显著提高了训练的速度和准确率。

改进点

• ReLU非线性：使用ReLU激活函数代替传统的Sigmoid，加快了网络的收敛速度。
• 最大池化：采用最大池化而非平均池化，更好地保留了特征信息。
• Dropout：在全连接层使用Dropout技术，有效减少了过拟合现象。
• LRN：局部响应归一化帮助模拟生物神经系统的“侧抑制”机制，增强了模型的泛化能力。

4.2 VGG-16

网络提出

VGG-16是由牛津大学的视觉几何组（Visual Geometry Group）于2014年提出。该网络通过重复利用简单的3x3卷积核和2x2最大池化层，构建了深达16层的卷积神经网络。

网络结构

VGG-16网络包含13个卷积层、3个全连接层和5个池化层。所有隐藏层都采用了ReLU激活函数。VGG-16的创新之处在于使用多个较小卷积核的卷积层代替大卷积核的卷积层，增加了网络的深度。

主要贡献

• 规范化网络结构：VGG网络通过规范化的卷积和池化层堆叠，提出了可以深化网络结构的通用方法。
• 3x3卷积核：证明了使用更小的卷积核并增加网络深度可以有效提高网络性能。

4.3 残差网络（ResNet）

为什么需要残差网络

随着网络深度的增加，传统的深层网络容易出现梯度消失或梯度爆炸的问题，导致网络难以训练。残差网络通过引入残差块，允许数据直接从浅层传递到深层，有效缓解了这一问题。

残差块

残差块的关键思想是引入了跳跃连接（或称为捷径连接），使得网络可以学习到输入与输出的残差映射。理论上，这使得网络即使非常深也能有效地训练。

网络结构

ResNet有多个版本，根据层数的不同分为ResNet-18, ResNet-34, ResNet-50, ResNet-101和ResNet-152等。其中，ResNet-50及以上模型采用了瓶颈结构，进一步增加了网络的深度和性能。

创新点

• 深层网络的有效训练：残差网络的提出解决了深层网络训练困难的问题，使得网络能够通过增加层数来持续提高性能。
• 跳跃连接：跳跃连接的设计使得信息可以在网络中更有效地传播，避免了梯度消失问题。

从AlexNet的突破、VGG-16的规范化设计，到ResNet的创新结构，这些基本卷积神经网络模型不仅推动了计算机视觉领域的发展，也为深度学习的研究提供了宝贵的经验和灵感。

5 常用数据集

在计算机视觉领域，有几个常用的数据集被广泛用于训练和测试各种算法。以下是其中一些最重要的数据集的介绍。

5.1 MNIST

MNIST 数据集是机器学习领域最著名的数据集之一，包含了大量的手写数字图片。

• 内容：共有70,000张灰度图像，分为60,000张训练图像和10,000张测试图像。每张图像都是28x28像素的手写数字（0到9）。
• 应用：MNIST数据集常用于训练各种图像处理系统，是计算机视觉和机器学习领域最基本的测试平台之一。

5.2 CIFAR-10 和 CIFAR-100

CIFAR-10 和 CIFAR-100 是由加拿大的学者Alex Krizhevsky、Vinod Nair和Geoffrey Hinton收集的数据集。

• CIFAR-10：

  • 内容：包含10个类别的60,000张32x32彩色图像，每个类别有6,000张图像。
  • 分布：数据集被分为50,000张训练图像和10,000张测试图像。

• CIFAR-100：

  • 内容：与CIFAR-10相似，但包含100个类别。每个类别有600张图像，其中500张用于训练，100张用于测试。
  • 特点：CIFAR-100相对于CIFAR-10来说，类别更多，任务更为复杂。

5.3 ImageNet

ImageNet 数据集是目前深度学习领域最著名的数据集之一，由斯坦福大学教授李飞飞领导的团队开发。

• 内容：包含超过14 million张图片，涵盖了22,000个类别。
• ILSVRC：ImageNet的一个子集，即ImageNet Large Scale Visual Recognition Challenge (ILSVRC)。ILSVRC使用了超过1,000个类别，超过1.2 million张训练图像、50,000张验证图像和150,000张测试图像。
• 应用：ImageNet数据集常用于训练和测试图像识别、对象检测和图像分类等计算机视觉任务。

5.4 COCO (Common Objects in Context)

COCO 数据集是一个新的图像识别、分割和图像语义数据集。

• 内容：包含超过330K图像，超过200K被标注，包含1.5 million的对象标注。
• 特点：COCO覆盖了91个对象类别和11个场景类别，图像中的对象以复杂的场景和多样的姿态出现。
• 应用：COCO数据集被广泛用于训练深度学习模型进行图像识别、分割和语义理解等任务。

这些数据集为计算机视觉和深度学习的研究提供了丰富的资源，是评估和比较不同算法性能的重要基础。