一种提高卷积结果非线性的方法

众所周知，卷积神经网络（CNN）是一种常见的深度学习模型，其应用在文本分类和图像识别领域都取得了不错的效果。这里我们以二维的卷积核为例，一个大小为M*N的卷积核，完成了对输入内容以M*N为单位特征提取，就是相当完成了维度为M*N的两个向量（卷积核与输入内容）的一次内积操作。最后为了增加结果的非线性特性，往往会把最后的结果进行非线性函数的处理（比方说Relu、Sigmoid、Tanh）。
其实上面的做法在处理M*N的范围中的内容的时候，是直接处理的。但是这个过程完全可以拆分成两个步骤。第一种方式 先完成对M*1 内容的卷积 ，再完成1*N内容的卷积；第二种方式是先完成对1*N内容的卷积，再完成对M*1内容的卷积。之所以拆分成这两个步骤增加了模型的非线性，是因为再完成了每一个小步骤的局部卷积后，都会经过非线性函数，故最终整体经过了两次非线性函数。
以第一种方式为例，设H(x)代表了卷积运算，卷积核的尺寸为x。那么第一种方式的形式化表示为：Relu(H(M*1)) -> Relu(H(1*N))。非常清楚的可以看出整个过程有两个非线性变换组成。虽然最终都是对M*N区域的卷积，但是这种方式确实增加了最后卷积结果的非线性特性，可以作为一种技巧加以使用。