学习笔记11--卷积神经网络基本结构

本系列博客包括6个专栏，分别为：《自动驾驶技术概览》、《自动驾驶汽车平台技术基础》、《自动驾驶汽车定位技术》、《自动驾驶汽车环境感知》、《自动驾驶汽车决策与控制》、《自动驾驶系统设计及应用》，笔者不是自动驾驶领域的专家，只是一个在探索自动驾驶路上的小白，此系列丛书尚未阅读完，也是边阅读边总结边思考，欢迎各位小伙伴，各位大牛们在评论区给出建议，帮笔者这个小白挑出错误，谢谢！
此专栏是关于《自动驾驶汽车环境感知》书籍的笔记

---

---

3.卷积神经网络基本结构

3.1 概述

卷积神经网络由卷积层、池化层、全连接层(配合dropout)组成；

上图说明：一个卷积块为连续A个卷积层和b个池化层(A通常设置为2～5，b为0或1)；一个卷积网络可以堆叠B个连续的卷积块，K个全连接层(B取值区间：1～100或更大；K一般为0～2)；

3.2 卷积层

1. 使用卷积层是为了能够提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器；
2. 为了更充分利用图像局部信息，通常将神经元组织为三维结构的神经层，其大小为宽度M×高度N×深度D，由D个M×N大小的特征映射构成；
3. 特征映射(feature map)为一幅图像在经过卷积提取到的特征，每个特征映射可以作为一类抽取的图像特征；
4. 为了增强卷积网络的表示能力，可以在每一层使用多个不同的特征映射，以更好地表示图像的特征；
5. 不同的特征映射实际上反映了通过卷积操作提取出来物体的不同的特征，从而能够更好地反映物体的特征；
6. 在输入层，特征映射是图像本身；如果是灰度图像，就有一个特征映射，深度D=1；如果是彩色图像，分别有R、G、B三个颜色通道的特征映射，输入层深度D=3；

卷积层结构：

1. 输入特征映射组：$X\in R^{M\times N\times D}$为三维张量(tensor)，其中每个切片(slice)矩阵$X^d\in R^{M\times N}$为一个输入特征映射，$1\le d\le D$；
2. 输出特征映射组：$Y\in R^{M^{\prime }\times N^{\prime }\times P}$为三维张量，其中每个切片矩阵$Y^p\in R^{M^{\prime }\times N^{\prime }}$为一个输出特征映射，$1\le p\le P$；
3. 卷积核：$W\in R^{m\times n\times D\times P}$为四维张量，其中每个切片矩阵$W^{p,d}\in R^{m\times n}$为一个二维卷积核，$1\le d\le D，1\le p\le P$；
4. 输出特征映射$Y^p$的计算：用卷积核$W^{p,1},W^{p,2},...,W^{p,D}$分别对输入特征映射$X^1,X^2,...,X^D$进行卷积，将卷积结果相加，并加上一个标量偏置$b^p$得到卷积层的净输入$Z^p$，经过非线性激活函数后得到输出特征映射$Y^p$；
   $$Z^p=W^p\otimes X+b^p=\sum _{d=1}^D{W}^{p,d}\otimes X^d+b^p，Y^p=f(Z^p)$$
   其中，$W^p\in R^{m\times n\times D}$为三维卷积核，$f(\cdot )$为非线性激活函数，一般用$ReLU$函数；如果希望卷积层输出$P$个特征映射，将上述计算过程重复$P$次，得到$P$个输出特征映射$Y^1,Y^2,...,Y^p$；
   
   在输入为$X\in R^{M\times N\times D}$，输出为$Y\in R^{M^{\prime }\times N^{\prime }\times P}$的卷积层中，每一个输入特征映射都需要$D$个滤波器及一个偏置；假设每个滤波器的大小为$m\times n$，那么共需要$P\times D\times (m\times n)+P$个参数；

3.3 池化层

1. 池化层抽象为一种对统计信息的提取；在卷积神经网络中，池化的主要目的是降维，即在保持原有特征的基础上最大限度地将数组的维数变小；
2. 卷积层可以显著减少网络中连接的数量，但特征映射组中的神经元个数没有显著减少，对分类器的输入维数依然很高；在卷积层后加上池化层，可以降低维数，避免过拟合；
3. 假设池化层的输入特征映射组为$X\in R^{M\times N\times D}$，对于其中每一个特征映射$X^d$，将其划分为若干个区域$R_{m,n}^d,1\le m\le M^{\prime },1\le n\le N^{\prime }$；然后对每个区域，以一定的方法求出一个能代表这个区域的值；
4. 常用池化函数：最大池化和平均池化；
   1. 最大池化(maximum pooling)：取一个区域内所有神经元的最大值；
   2. 平均池化(mean pooling)：取一个区域内所有神经元的平均值；
5. 典型池化层：将每个特征映射组划分为$2\times 2$大小的不重叠区域，使用最大池化或平均池化方式输出；
6. 池化层可以有效减少神经元的数量，可以使得网络对一些小的局部形态改变保持不变性，并拥有更大的感受野；
7. 卷积是将对应像素上的点相乘，再相加；池化侧重特征维数的减少，只关心卷积核的尺寸而不考虑取值；池化可以看成一个特殊的卷积层，卷积核大小为$m\times m$，步长为$s\times s$，卷积核为$\max$函数或mean函数；
   

3.4 全连接层

全连接层类似前馈网络的某一层和下一层的连接关系，其中上一层每一个节点和下一层的节点间有一个权重连接，如下图：

3.5 dropout

1. dropout是神经网络防止过拟合，提高泛化能力的一种措施；
2. 过拟合：训练模型在训练集上性能表现较好，在测试集上性能表现较差的情况；
3. 当模型参数太多，训练样本太少时容易出现过拟合情况；
4. 为了解决过拟合问题，采用集成学习(ensemble)方式，即训练多个模型并组合起来进行预测；
5. Hinton教授在2012年提出dropout算法：在每个训练批次中，随机让一部分隐层节点失效(节点值为0)，从而改变网络结构，较少隐层节点间的相互作用，但每个节点值会保留下来；最终预测时，再打开所有隐层节点，使用完整的网络进行计算，相当于组合了多个不同的网络进行预测，这样可以提高泛化能力，有效防止过拟合；