浅记卷积神经网络学习

l 深度学习用于计算机视觉使用的模型几乎都是卷积神经网络（convnet）

l 卷积神经网络的结构大致是：一系列池化层和卷积层，在最后是一个密集连接分类器。

l 密接连接层和卷积层的区别：密集层从输入特征空间中学到的是全局模式，而卷积层学到的是局部模式。

l 卷积层这种局部学习的模式有两个性质：

1. 平移不变性：卷积神经网络在图像右下角学到某个模式之后，它可以在任何地方识别这个模式；

2. 可以学习到模式的空间的层次结构：第一个卷积层将学习较小的局部模式，第二个卷积层学习由第一层特征组成的更大的模式。

l 卷积的两个关键参数：

1. 从输入中提取的图块尺寸：大小通常是3X3或者5X5；

2. 输出特征图的深度：卷积所计算的过滤器的数量；

l 卷积的工作原理：在3D输入特征图上滑动这些3X3或者5X5的窗口，在每个可能的位置停止并提取周围特征的3D图块，然后每一个3D图块与学到的同一个权重矩阵（卷积核）做张量积，转换为形状为（output_depth，）的1D向量。然后对这些向量进行空间重组，使其转换为形状为（height,width,output_depth）的3D输出特征图，输出特征图中的每个空间位置都对应与输入特征图中的相同位置；需要注意的是输出的宽高可能与输入的宽高不同，可能的原因有边界效应和使用了步幅

l 最大池化运算：对特征图进行下采样，最大池化是从输入图中提取窗口，并且输出每个通道的最大值，最大池化使用的是硬编码的max张量运算对局部图块进行变换，而不是学到的线性变换，最大池化通常使用2X2的窗口和步幅2，其目的就是特征图下采样2倍。（卷积通常使用3X3窗口和步幅1）

l 使用下采样的原因是：减少需要处理的特征图的元素的个数；通过让连续的卷积层的观察窗口越来越大，从而引入空间过滤器的层级结构。

l 数据增强减少过拟合：就是将原本的数据进行随机变换来增加样本，比如将一张图片上下或者左右颠倒就可以生成更多的样本，但是由于现在的样本信息的增加只是混合了原来的信息，所以不能完全的消除过拟合，还需要添加一些消除过拟合的方法，比如权重正则化（权重衰减）和dropout

l 预训练神经网络是之前在大型数据集上训练好的，使用预训练网络有两种方法特征提取和微调模型；

l 特征提取就是使用预网络从新样本中提取有用的特征，然后将这些特征输入到一个新的分类器，从头开始训练，对于卷积神经网络特征提取就是提取训练好的模型的卷积基（池化层和卷积层）

l 某个卷积层提取的表示通用性取决于该层在模型中的深度，模型中更靠近底部的层提取的是局部的、高度通用的特征图（先添加进模型的层），更靠近顶部的层提取的是更加抽象的概念，所以如果新数据集和原始数据集差别很大，那么使用模型前几层来做特征提取。

l 不使用数据增强的快速特征提取：先使用卷积基模型提取出现有数据中的一些特征，然后将提取出来的特征输入到自己构建的密集连接分类器中进行训练；这种方式训练出来的模型从一开始就会陷入过拟合。

l 使用数据增强的特征提取:就是扩展卷积基，使得输入数据实现在模型上的端到端的训练，这种方式就是先原有的卷积基模型中添加一个密集连接分类器，然后进行数据训练，需要注意的是在编译和训练整个的模型钱是需要将卷积基进行冻结的，因为我们要用的就是卷积基已经在之前学到的一些东西，如果将它和之后加入的密集分类器一起训练就会将原本的一些东西丢失，这是我们不愿意看到的，还有在进行数据增强时只能增强训练数据不能增强验证数据。

l 模型微调的思想就是在特征提取的基础上对卷积基顶部的基层进行解冻，将解冻的基层与后面新加入的分类器一起训练，微调网络的步骤是：在已经训练好的网络上添加自定义网络--->冻结基网络--->训练所添加的部分--->解冻基网络的一些层--->联合训练解冻这些层和添加的部分。

l 卷积基中更靠近底部的层的代码是更加通用的可复用特征，而更靠顶部的层编码是更加专业化的特征，微调时调整这些专业化特征更加有用。

l 与其他深度学习模型被称为“黑盒”不同，卷积神经网络是可视化的。