动手学深度学习Pytorch版本学习笔记 Task 05

1.卷积神经网络基础

卷积其实就是将许多部分的信息进行压缩，在过大维度矩阵的情况下，因为存在过多的信息
第一是为运算上带来了很多麻烦
第二是类似拿着显微镜看一幅画，难以捕捉其整体的信息。通过互相关运算将画拿远，慢慢感受他整体的信息。所以应该在卷积神经网络中把大矩阵缩小多少次，缩小到什么程度应该是个相当关键的问题。只有在能看清具体信息但又能把握整体信息的情况下，才能得到对图像更清楚地把握。 通过感受野这个概念能发现，经过互相关运算或者卷积运算之后的矩阵，应该每个位置都综合了之前感受野中的信息，所以某种意义上其实它们就是这个图片的特征。
第三个问题在 padding上，通过讲解大概理解是，padding的作用有1、保护边缘信息。2、控制输入输出维数相同。3、类似语言模型中对不满足规定大小的图片的补充。 第四个问题是步幅，我认为的步幅的作用是避免图像中间的信息过于频繁的被利用从而对图像中间信息关注过高，同时也是减小运算复杂程度的方法。

2.leNet

LeNet: 在大的真实数据集上的表现并不尽如人意。
1.神经网络计算复杂。
2.还没有大量深入研究参数初始化和⾮凸优化算法等诸多领域。
机器学习的特征提取:手工定义的特征提取函数
神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。

神经网络发展的限制:数据、硬件

3.卷积神经网络进阶

AlexNet
首次证明了学习到的特征可以超越LeNet设计的特征，从而⼀举打破计算机视觉研究的前状。
特征：
1.8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。
2.将sigmoid激活函数改成了更加简单的ReLU激活函数。
3.用Dropout来控制全连接层的模型复杂度。
4.引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。

使用重复元素的网络（VGG）
VGG：通过重复使⽤简单的基础块来构建深度模型。
Block:数个相同的填充为1、窗口形状为 3×3 的卷积层,接上一个步幅为2、窗口形状为 2×2 的最大池化层。
卷积层保持输入的高和宽不变，而池化层则对其减半。