在深度学习模型中引入先验

当面对复杂问题的时候，在深度学习模型提取特征的过程中完全抛弃知识是非常不明智的策略。虽然有很多研究者在深度网络处理数据之前，利用具有某种知识的模型驱动方法对数据进行预处理，但是这种方法没有进行实质性地改造深度网络，且这种两阶段方法从端到端学习策略来看很难达到最优。另一方面，具有某种知识的模型驱动方法如Schmid滤波器能够保持旋转不变性，这类知识很符合深度网络中浅层网络结构所需要的特征。因此，很多研究者利用具有某种知识的模型驱动方法来改进深度网络的网络结构，用这种方法在深度网络中融入知识能够提高模型的性能。这方面的研究主要分为三个大方向：通过知识对输入进行编码并添加到神经网络的输入端构建第一层网络、利用知识改变神经网络的部分结构、利用知识改变神经网络的整体结构。

第一种方式是通过编码知识作为神经网络的辅助输入构建第一层网络的方式实现的。

第二种方式是通过改变神经网络的部分结构(如：卷积神经网络中的卷积核)实现的：为保持深度网络往边缘以及纹理信息的方向进行端到端学习，很多研究者利用Gabor滤波器改进深度网络的网络结构，如使用固定参数Gabor滤波器作为第一卷积层的卷积核方法。

第三种方式是通过对整个神经网络的结构作出调整实现的。

几个小例子：

（1）在应用卷积神经网络之前，传统的图像滤波器已经得到了很好的发展&#x