Harnessing Deep Neural Networks with Logic Rules论文解读

作者信息：Zhiting Hu、Xuezhe Ma、Zhengzhong Liu、Eduard Hovy、Eric P.Xing，都来自CMU

问题：深度神经网络一个很大的问题是不可解释性，另一个问题是往往需要大量的训练数据。因此，我们希望能够在深度神经网络中引入一些知识，一方面可以帮助训练，另一方面能提高模型的可解释性。具体的知识形式可以采用逻辑规则，因为它能较好地建模人类的认知思维和先验知识。那么如何将深度神经网络和逻辑规则结合起来？

摘要：将深度神经网络与结构化的逻辑规则结合在一起是可取的，可以控制神经模型的灵活性，减少模型的不可解释性。文章提出一个通用框架，能够用声明的一阶逻辑规则来提升多种神经网络。特别的，文章开发了一种反复蒸馏方法，可以将逻辑规则的结构化信息转移到神经网络的权值中。文章在语句分析的CNN网络上以及命名实体识别的RNN网络上实现了框架。通过一些高度直观的规则，实验获得了大量的提升，得到了state-of-the-art结果，或者和之前最好的系统相比有了竞争性的结果。

深度神经网络在许多领域都获得了十分显著的进展，但是神经网络的高准确性严重依赖于大量的标注数据，并且纯粹的数据驱动学习会导致结果的不可解释性和直观性。如果没有昂贵的直接监督或特别初始化，也很难编码人的意图来指导模型捕获期望的模式。

另一方面，人类行为的识别过程表明，人类的学习不仅来源于具体的例子，还来源于不同形式的通用知识和丰富的经验。逻辑规则为高阶认知与表达逻辑化知识提供了一个灵活的声明语言。因此，将逻辑规则注入到DNN中是可行的，将人类意图和领域知识注入到神经模型，然后控制学习过程。

文章的框架将逻辑结构化知识封装到神经网络中，是通过迫使网络模拟一个规则化教师的预测