神经网络与深度学习课程总结（二）

 参考：动手学深度学习（PyTorch版）Releases · d2l-ai/d2l-zh (github.com)

神经网络与深度学习课程PPT

pytorch简介

pytorch推荐项目：lyhue1991/eat_pytorch_in_20_days: Pytorch🍊🍉 is delicious, just eat it! 😋😋 (github.com)

 pytorch使用tensor类型作为基本的数据类型，使用Datasset、DataLoader管理训练数据集；

pytorch中的自动求导机制帮助使用者简化操作，不需要关注复杂冗长的求导操作；用户只需要关注网络结构，无需关注前向传播和反向传播过程。

具体算法细节可参考上述链接！

卷积神经网络

卷积神经网络主要是用来处理图像，即像素级操作；因为一张图片的像素随着图像质量的增长而增长，使用传统的全连接网络处理这种数据，会导致参数量过大，同时那以收敛，也容易陷入局部最小值。

而卷积神经网络引入了卷积核的概念，大大减少了参数量，基本的卷积操作示意如下图：

 基本概念

填充（Padding）：即在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

步长（Stride）：表示卷积核每步移动的距离

池化（Pooling）：使用局部统计特征，如均值或最大值。解决特征过多问题

卷积神经网络由多个卷积层和池化层构成，最后往往经过全连接层进行特征组合

常见卷积网络

LeNet-5网络

随着网络的深入，卷积的宽和高衰减，通道数增加

 AlexNet网络

 该网络通过改变输入图像的大小，方向进行了数据增强；使用ReLU函数代替了Tan Sigmoid函数；在每个全连接层后增加了Dropout，防止模型过拟合

ResNet网络

 在普通网络的基础上，将浅层的激活项通过支路直接传向深层，克服深层神经网络中梯度消失的问题，为训练极深的神经网络提供便利，保证随着模型深度的增加，其性能至少不会下降。