卷积神经网络组件介绍

在介绍各个组件之前，首先说明一下：深度学习是一种端到端的学习方式。其中无需人工干预，整个过程的特征提取以及目标任务的执行，在一开始设计的网络中已经定义好。

这里说明一点：通常说的网络的损失函数是指最后的网络输出与label的误差损失，而有时候大家会看到损失函数是由多部份组成，那么就要看在网络的设计过程中，哪些层、哪些模块进行了损失的计算。除此之外，有时还会对参数进行正则化，于是会出现正则化损失。

卷积操作是一种局部提取特征的方式，也称之为滤波器。根据使用目的的不同，可以设计多样化的卷积核，如边缘滤波器、横向滤波器、纵向滤波器等。假设想要提取边缘特征信息，可以这样设计滤波器：假定像素（x,y）处存在物体的边缘信息，那么就要弱化该像素的周边像素信息（x-1,y）,(x+1,y),(x,y+1),(x,y-1)。那么卷积核可以设计为如下：

0 -4 0

-4 16 -4

0 -4 0

汇合层即池化层，分为多种，其中常见的有平均池化和最大池化方式。该操作最大的作用就是降采样，进行特征降维。除此之外，还有特征不变性（不考虑位置信息）以及防止过拟合的发生。需要注意的是：该操作在网络的训练过程中是不进行反向传播的，即没有参数进行更新，不存在参数。另外，池化/汇合操作某种程度上可以看成是一种向量的p-范数。当p趋向于正无穷时，即最大池化操作。

上述又提及到了向量的范数，之后会再次给大家进行介绍。

还有一种操作对于提高模型的表达能力是必不可少的，即激活函数，又名非线性映射层。正因为激活函数的存在，使得网络不再是单纯的线性映射的叠加，依旧是线性的。激活函数的设计来源于生物神经元的特性，当信号传至突出时，会对信号进行处理，产生兴奋或者抑制的效果，激活函数亦是如此。常见的激活函数有Sigmoid和ReLU线性校正单元函数。Sigmoid函数在某一范围内是有效的，详情可以参考函数图像以及梯度图像。当超出该范围，会导致梯度饱和效应的发生，使得网络无法进行训练，为此Hinton等人设计了ReLU。ReLU是一个分段函数。

最后，全连接层是针对特定目标任务设计的分类器。将特征空间映射为样本的标记空间。

上述纯是个人见解，如有误或者不当之处，希望大家谅解，也可以评论区留言，共同交流、共同进步。