神经网络与深度学习

全连接网络的问题

如果每一个神经元都连接到上一层的所有神经元（除输入层外），则成为全连接网络（Fully Connected Neural Network）。

正是全连接网络的此特性，对复杂数据集的处理造成了巨大的困扰，存在需要拟合的参数过多不好优化，也容易导致过拟合问题，同时忽略像素之间的空间信息

神经网络基础：卷积神经网络

1989年，Yann LeCun 等人提出了卷积神经网络（Convolutional Neural Network，ConvNet），也称为卷积网络（Convolutional Network），这对神经网络领域产生了重大影响
1998年LeNet是由Yann LeCun等人提出的深度学习模型

特征提取

其基本的计算形式是对图像进行卷积计算，padding与全连接进行处理：


其基本结构为卷积层+padding采样层进行图像矩阵计算，最后误差计算使用反向传播优化：

LeNet-5网络

1. 输入层（Input Layer）： 接受手写数字图像作为输入。原始的LeNet-5设计用于处理32x32像素大小的图像，但在实际应用中也可根据需要进行调整；
2. 两层卷积两层padding层，采样使用maxpooling；
3. 最后一层是全连接层；
   

残差网络

我们通过残差神经网络进解决梯度问题