卷积神经网络应用领域和基本结构

应用领域

卷积神经网络是一类特殊的人工神经网络，区别于神经网络其他模型(如递归神经网络、Boltzmann机等），它最主要的特点是卷积运算操作(convolution operators)。因此,CNN 在诸多领域的应用特别是图像相关任务上表现优异，例如图像分类、图像语义分割、图像检索、物体检测等计算机视觉的问题，而我自己研究方向也是SAR图像识别与分类，所以跟这个类似。

基本结构

总体来说，卷积神经网络，是一种层次模型，其输入是原始数据，如RGB图像、原始音频数据等。卷积神经网络通过卷积操作、汇合操作和非线性激活函数映射等一系列的操作层层堆叠，将高层语义信息由原始数据输入层中抽取出来，逐层抽象，这一过程便是前馈运算。其中，不同类型操作在卷积神经网络中一般被称作“层”：卷积层操作对应“卷积层”，汇合操作对应“汇合层”，等等。最终，卷积神经网络的最后一层将目标任务(分类、回归等)形式化为目标函数。通过计算预测值与真实值之间的误差或损失，凭借反向传播算法将误差层向前反馈，更新每一层参数，并在更新参数后再次前馈，如此往复，直到网络模型收敛，从而达到模型训练的目的。
更通俗地讲，卷积神经网络操作犹如搭积木的过程，将卷积等操作层作为“基本单元”依次“搭”在原始数据上，逐层堆砌，以损失函数的计算作为过程结束，其中每层的数据形式是一个三维张量。

前馈运算

前馈运算的预测过程就是一次网络的前馈运算：将测试集图像作为网络输入送进网络，之后经过第一层操作得一个数值，如此下去，直到得到结果。

反馈运算

在神经网络求解时，特别是针对大规模应用问题(如ILSVRC分类或检测任务)，常采用批处理的随机梯度下降法(mini-batch SGD)。批处理的随机梯度下降法在训练模型阶段随机选取n个样本作为一批样本，先通过前馈运算做出预测并计算其误差，后通过梯度下降法更新参数，梯度从后往前逐层反馈，直至更新到网络的第一层参数，这样的一个参数更新过程称为“批处理过程(mini-batch)”。不同批处理之间按照无放回抽样遍历所有训练集样本，遍历一次训练样本称为“一轮(epoch）”.其中，批处理样本的大小不宜设置得过小。过小时，由于样本采样随机，那么急于该样本的误差更新模型参数不一定在全局上最优(此时仅为局部最优更新)，这会使得训练过程产生振荡。而批处理大小上的上限主要受到硬件资源的限制，如GPU显存大小。一般而言，批处理大小的设为32、64、128或256即可。当然在随机梯度下降更新参数时还有不同的参数更新策略。

总结用户

在实际应用中，用户只需要把精力放在模型构建和前向代码的书写上，不用担心复杂的梯度求导过程。
神经网络模型通过前馈运算对样本进行推理和预测，通过反向运算将预测误差反向传播并逐层更新参数，如此两种运算依次交替迭代，完成模型的训练过程。
注：文章选自《解析深度学习—卷积神经网络原理与视觉实践》魏秀参著