作者信息:Zhiting Hu、Xuezhe Ma、Zhengzhong Liu、Eduard Hovy、Eric P.Xing,都来自CMU
问题:深度神经网络一个很大的问题是不可解释性,另一个问题是往往需要大量的训练数据。因此,我们希望能够在深度神经网络中引入一些知识,一方面可以帮助训练,另一方面能提高模型的可解释性。具体的知识形式可以采用逻辑规则,因为它能较好地建模人类的认知思维和先验知识。那么如何将深度神经网络和逻辑规则结合起来?
摘要:将深度神经网络与结构化的逻辑规则结合在一起是可取的,可以控制神经模型的灵活性,减少模型的不可解释性。文章提出一个通用框架,能够用声明的一阶逻辑规则来提升多种神经网络。特别的,文章开发了一种反复蒸馏方法,可以将逻辑规则的结构化信息转移到神经网络的权值中。文章在语句分析的CNN网络上以及命名实体识别的RNN网络上实现了框架。通过一些高度直观的规则,实验获得了大量的提升,得到了state-of-the-art结果,或者和之前最好的系统相比有了竞争性的结果。
深度神经网络在许多领域都获得了十分显著的进展,但是神经网络的高准确性严重依赖于大量的标注数据,并且纯粹的数据驱动学习会导致结果的不可解释性和直观性。如果没有昂贵的直接监督或特别初始化,也很难编码人的意图来指导模型捕获期望的模式。
另一方面,人类行为的识别过程表明,人类的学习不仅来源于具体的例子,还来源于不同形式的通用知识和丰富的经验。逻辑规则为高阶认知与表达逻辑化知识提供了一个灵活的声明语言。因此,将逻辑规则注入到DNN中是可行的,将人类意图和领域知识注入到神经模型,然后控制学习过程。
文章的框架将逻辑结构化知识封装到神经网络中,是通过迫使网络模拟一个规则化教师的预测