如何将领域知识融入网络结构？

随着深度学习的发展，当面对复杂问题的时候，在深度神经网络提取特征的过程中完全抛弃知识是非常不明智的策略。虽然有很多研究者在深度网络处理数据之前， 利用具有某种知识的模型驱动方法对数据进行预处理， 但是这种方法没有进行实质性地改造深度网络， 且这种两阶段方法从端到端学习策略来看很难达到最优。另一方面， 具有某种知识的模型驱动方法如Schmid滤波器能够保持旋转不变性， 这类知识很符合深度网络中浅层网络结构所需要的特征。因此， 很多研究者利用具有某种知识的模型驱动方法来改进深度网络的网络结构， 用这种方法在深度网络中融入知识能够提高模型的性能。

这方面的研究主要分为三个大方向： 通过知识对输入进行编码并添加到神经网络的输入端构建第一层网络、利用知识改变神经网络的部分结构、利用知识改变神经网络的整体结构。

第一种方式是通过编码知识作为神经网络的辅助输入构建第一层网络的方式实现的，比如利用文本信息作为辅助输入的算法。

第二种方式是通过改变神经网络的部分结构（如：卷积神经网络中的卷积核）实现的： 为保持深度网络往边缘以及纹理信息的方向进行端到端学习，利用Gabor 滤波器改进深度网络的网络结构， 如使用固定参数Gabor滤波器作为第一卷积层的卷积核方法，使用Gabor 滤波器初始化卷积核的方法； 使用Gabor滤波器和普通卷积核相乘的方法。这一类方法的优点在于适当调整网络的部分结构， 从而将知识嵌入到整个深度网络学习的过程中， 缺点在于大部分方法对于初始化或参数的选择要求都很高， 且这些参数难以更新。

第三种方式是通过对整个神经网络的结构作出调整实现的，比如为了保全局信息和边缘信息将多尺度全卷积残差网络和病变指数计算单元结合组成的框架结合以同时处理病变分割和病变分类，这类利用具有某种知识的模型驱动方法改进深度网络框架的方法， 虽然有效地将知识和数据融合改进深度网络， 但是仍然需要更多的数据去训练深层网络。

mbd.pub/o/GeBENHAGEN

擅长现代信号处理(改进小波分析系列，改进变分模态分解，改进经验小波变换，改进辛几何模态分解等等)，改进机器学习，改进深度学习，机械故障诊断，改进时间序列分析(金融信号，心电信号，振动信号等)