神经网络与深度学习（2）

本博客作为神经网络与深度学习的内容与知识总结，提升神经网络与深度学习的相关使用水平，并且通过相关程序提升对于相关算法的数学认识与编程能力。

本次博客为关于卷积神经网络相关的知识：

一.为什么要深度学习

全连接网络（Fully Connected Network）在深度学习中被广泛使用，但也存在一些问题包括：参数过多、过拟合、计算量大结构性问题、梯度消失和梯度爆炸。

为了解决全连接网络存在的问题，研究者们提出了一系列的改进方法，包括使用卷积神经网络（CNN）来提取图像等数据中的局部特征，使用正则化技术来减少过拟合，以及使用更有效的优化算法来加速训练过程等。

二.深度学习平台

深度学习作为神经网络与机器学习的重要基础，目前已经存在很多平台可以进行编程运算，但是目前主流使用的还是以pytorch为主：

PyTorch 是一个基于 Python 的科学计算库，专门针对深度学习任务而设计。

PyTorch 通过其灵活的设计、易用的 API、优化的计算性能和丰富的社区支持，成为了深度学习领域中最受欢迎的框架之一，广泛应用于学术研究和工业应用中。

以下是一些pytorch的基本概念：

三.卷积神经网络基础

(1)发展史

1989年，Yann LeCun 等人提出了卷积神经网络（Convolutional Neural Network，ConvNet），也称为卷积网络（Convolutional Network），这对神经网络领域产生了重大影响。

1998，年LeNet是由Yann LeCun等人提出的深度学习模型，被广泛用于手写数字识别任务。

随着大数据的出现和计算能力的提升，以及更有效的模型结构和训练技术的发展，深度学习再次成为研究和工业界的焦点。深度学习模型在图像识别、自然语言处理、语音识别等领域取得了巨大成功，引发了人工智能领域的新一轮热潮。同时，各种神经网络结构和训练技巧不断涌现，包括卷积神经网络（CNN）、循环神经网络（RNN）以及注意力机制等，推动了神经网络技术的快速发展。

（2）特征提取

（2）CNN网络结构

卷积层：

通过卷积操作从输入数据中提取特征。卷积操作是将一个滤波器（也称为卷积核）在输入数据上滑动，每次计算滤波器与输入数据的内积，然后将结果填充到输出特征图中。

采样层：

采样层可以使模型对输入的小变化具有一定的鲁棒性，因为池化操作在局部区域内进行，对输入的微小平移或略微变形不敏感，从而提高模型的泛化能力。

（3）误差反向传播：

卷积NN的BP算法：

()卷积神经网络基础：

四.LeNet-5网络

LeNet-5是由Yann LeCun等人于1998年提出的深度学习模型，是卷积神经网络（CNN）的一种经典结构。LeNet-5主要用于手写数字识别任务，是深度学习在计算机视觉领域的里程碑之一。

LeNet-5的网络结构如下：

1. 输入层（Input Layer）： 接受手写数字图像作为输入。原始的LeNet-5设计用于处理32x32像素大小的图像，但在实际应用中也可根据需要进行调整。

2. 第一层卷积层（Convolutional Layer）： 使用6个5x5的卷积核对输入图像进行卷积操作。每个卷积核生成一个特征映射（Feature Map），用于提取图像的局部特征。

3. 第一层下采样层（Pooling Layer）： 在每个特征映射上应用2x2的最大池化操作，将特征映射的尺寸减小一半，从而减少计算量和参数数量。

4. 第二层卷积层（Convolutional Layer）： 使用16个5x5的卷积核对第一层下采样后的特征映射进行卷积操作，进一步提取图像的特征。

5. 第二层下采样层（Pooling Layer）： 类似于第一层下采样层，对第二层卷积后的特征映射进行最大池化操作。

6. 全连接层（Fully Connected Layer）： 包括一个全连接层和一个输出层。全连接层将池化层提取的特征展平成向量，并通过激活函数（通常是sigmoid或tanh）得到输出。在LeNet-5中，最后一层是一个具有10个神经元的全连接输出层，对应10个数字类别（0到9）的分类。

五.基本卷积神经网络

 

这种结构通常在处理更复杂的任务时使用，例如图像分类任务中的深层卷积神经网络（如VGG、ResNet等）。每个卷积层后面可能会跟随激活函数和池化层，而每个全连接层通常会包含激活函数以及在输出层上采用适当的分类器（如softmax函数）。这种结构的设计允许网络逐渐学习到更加抽象和高级的特征表示，从而提高模型的性能。

改进方法有：修改激活函数、dropout、双GPU策略。

六.常用数据集