[论文解读] Bridging Machine Learning and Logical Reasoning by Abductive Learning

Bridging Machine Learning and Logical Reasoning by Abductive Learning

简介

论文标题

• Bridging Machine Learning and Logical Reasoning by Abductive Learning
• 用推理学习架起机器学习和逻辑推理的桥梁
• 2019

本人fork的git地址

摘要

感知和推理是人类解决问题过程中两种具有代表性的智能能力，在人类解决问题的过程中紧密结合在一起。在人工智能(AI)领域，这两种能力通常分别通过机器学习和逻辑编程来实现。然而，在人工智能历史的大部分时间里，这两类技术都是单独开发的。本文提出了旨在将两种人工智能范式以互惠互利的方式统一起来的溯因学习，其中机器学习模型学习从数据中感知原始逻辑事实，而逻辑推理可以利用符号域知识和纠正错误感知的事实来改进机器学习模型。此外，我们还提出了一种新的方法来联合优化机器学习模型和逻辑推理模型。我们证明，通过使用溯因学习，机器可以从简单的手写方程的图像中同时学习识别数字和求解未知的数学运算。此外，学习的模型可以推广到更长的方程，并且可以适应不同的任务，这超出了现有的深度学习模型的能力范围。

介绍

人类认知[34]包括两个显著的能力：感知和推理，前者处理感官信息，后者主要以象征性方式工作。这两种能力同时发挥作用，并相互影响，它们往往是由人类下意识地结合在一起的，这在许多现实生活中的学习和解决问题的过程中是必不可少的[34]。

现代人工智能(AI)系统兼具这两种能力。机器学习技术，如深度神经网络，在解决感知任务方面取得了非凡的性能[19]；同时，基于逻辑的人工智能系统在证明数学定理[27]和执行关于关系的归纳推理方面取得了成功的人类水平的推理能力[25]。

然而，流行的机器学习技术很难以符号形式开发复杂的领域知识，并且感知信息很难包含在推理系统中。即使在具有关注关系[31]、增强记忆和可微分知识表示[13]能力的现代神经网络中，仍然缺乏完整的逻辑推理能力–例如，考虑到理解自然语言的困难[17]。另一方面，概率逻辑程序(PLP)[5]和统计关系学习(SRL)[12]的目的是通过保留符号表示来整合学习和逻辑推理。然而，它们通常需要语义级输入，这涉及将子符号数据预处理为逻辑事实[30]。

为了更自然地利用学习和推理，了解感知和推理在单个系统中是如何相互影响的是至关重要的。一个可能的答案是abduction[28]，或者被称为retro-production制作[33]。它指的是基于背景知识[23，14]有选择地推断对观察给予最佳解释的具体事实和假设的过程，其中“观察”大多是感官信息，而“知识”通常是象征性的和结构性的。

在溯因问题求解的启发下，我们提出了一种连接机器学习和逻辑推理的新方法–溯因学习(ABL)。在溯因学习中，机器学习模型负责将子符号数据解释成原始的逻辑事实，逻辑模型可以根据一些一阶逻辑背景知识对解释的事实进行推理，从而获得最终输出。主要的困难在于子符号模型和符号模型很难同时训练。更具体地说：1)它没有用于训练机器学习模型的原始逻辑事实(例如，图1中的正确数字)的任何基本真理；2)没有准确的原始逻辑事实，推理模型很难推导出正确的输出或学习正确的逻辑理论。

我们提出的Abductive Learning(ABL)试图通过逻辑推导abduction[18，7]和一致性优化consistency optimisation来解决这些挑战。给定与最终输出相关联的训练样本，逻辑推导可以猜测缺失的信息-例如，示例中的候选原始事实，或者可以完成背景知识的逻辑子句-以建立从样本到其最终输出的一致证明。然后，将所导出的原始事实和逻辑子句分别用于训练机器学习模型并存储为符号知识。一致性优化用于最大化猜想和背景知识之间的一致性。为了解决这个高度复杂的问题，我们将其转换为一个搜索函数的任务，该函数猜测可能会出错的原始事实。

术语

Abductive Learning / ABL: 溯因学习 简单讲就是由果推因

abduction: 逻辑推导

consistency optimisation: 一致性优化

hypothesis model: 假设模型H,本文中指由神经网络和逻辑推理两部分组成的模型

perception model: 感知模型p,神经网络部分

knowledge model: 知识模型delta c,逻辑推理部分

pseudo-groundings / pseudo-labels: 伪标签,即神经网络的输出,因为神经网络的输出可能是错误的,所以这样命名

Abductive Learning

Problem Setting

溯因学习的任务可以形式化如下

数据: D = { ⟨ x 1 , y 1 ⟩ , … , ⟨ x n , y n ⟩ } D=\left\{\left\langle\boldsymbol{x}_{1}, y_{1}\right\rangle, \ldots,\left\langle\boldsymbol{x}_{n}, y_{n}\right\rangle\right\} D={⟨x1​,y1​⟩,…,⟨xn​,yn​⟩}

目标概念: C

领域知识库: B

其中Xi∈X是输入数据， y i ∈ { 0 , 1 } y_{i} \in\{0,1\} yi​∈{0,1}是目标概念C的${\mathbf{x}}_i$的标签,B是一阶逻辑子句的集合。

目标概念C被定义为具有一组原始概念符号 P = { p 1 , … , p r } \mathcal{P}=\left\{p_{1}, \ldots, p_{r}\right\} P={p1​,…,pr​}之间的未知关系

其中每个$p_k$是B中定义的符号

溯因学习的目标是输出一个假设模型$H=p\cup {\Delta }_C$，其中：

• $p:\mathcal{X}\mapsto \mathcal{P}$是从特征空间到原始符号的映射，即它是一个与传统机器学习模型相同的感知模型；

• ${\Delta }_C$: 是用B定义目标概念C的一阶逻辑子句集合，称为知识模型。

以论文中手写数字公式为例解释一下:

D就是原始数据集,x是图片,y是标签,B是一阶逻辑字句组成的领域知识,比如数字如何做加法,p_k是预定义的符号,假设我们只做0,1的加减法,那么p_k就是0或者1(也可能有+ 和 = ),C就是指的这些符号之间的关系,比如 01 +01 = 10

假设模型H由p和C两部分组成,p就是神经网络,python实现,c就是逻辑程序,prolog实现

假设模型应满足：
$$\forall ⟨\mathbf{x},y⟩\in D\left(B\cup {\Delta }_c\cup p(\mathbf{x})|=y\right)$$
对于任意的数据 领域背景知识+ 推出来的规则 + 神经网络输出 可以推出数据对应的标签

正如我们可以从公式中观察到的那样。1)溯因学习的主要挑战是知觉模型p和知识模型∆c是相互依赖的：

1)要学习∆C，需要知觉结果p(X)–x中原始概念的基础集合；

2)为了获得p，我们需要得到用于训练的基本真值标签p(X)，它只能从B∪∆C和y逻辑导出。

当机器学习模型训练不足时，感知的原始符号p(X)极有可能是不正确的，因此，我们将它们命名为伪标签。在此基础上，基于公式1的∆C的推论会不一致；当知识模型∆c不准确时，逻辑导出的伪标签p(X)也可能是错误的，这损害了p的训练。无论哪种方式，它们都会中断学习过程。

即两个模型互相依赖,一个错误另一个也错误

Framework

ABL框架[42]试图通过将机器学习与一个溯因逻辑推理模块连接起来，并通过一致性优化将它们连接起来，从而解决这些挑战。图3显示了框架的轮廓。

机器学习用于学习感知模型p。给定输入实例x，p可以将伪标签p(X)预测为x中可能的原始概念的基础。当伪标签包含错误时，需要重新训练感知模型，其中标签是从逻辑推导返回的修正的伪标签r(X)。

逻辑推导是溯因推理的逻辑形式化。给定以一阶逻辑子句表示的观察事实和背景知识，逻辑推导可以推导出基础假设作为对观察事实的可能解释。逻辑编程中形式化这一过程的声明性框架是推导逻辑编程(ALP)[18]。形式上，一个溯因逻辑程序可以定义如下：

定义1[18]一个溯因逻辑程序是一个三元组$(B，A，IC)$，其中B是背景知识，A是一组溯因谓词，IC是完整性约束。给定一些观察到的事实O，该程序输出A的地面可展开量的集合∆，使得：

直观地说，溯因解释∆作为一种假设，解释观察O如何根据背景知识B和约束IC成立。

就是领域知识加上推导出来的规则满足事实, 满足完整性约束,和满足一致性,假设推导出来的规则为1+ 0 = 0,则不满足事实;假设推导出规则 1+ 0 = 1 ,那么1+0=0则必然不成立; 假设推导出规则 1+ 0 = 1 ,则0 + 1=1也必然是要成立的,因为加法是满足交换律的原则

ABL将关于最终概念的实例标号作为观察事实,并将假设模型H=∆C∪p视为可溯因

在给定∆C的情况下，ABL可以根据B和Y推导p(X)

当感知模型p确定后，它可以根据$B\cup p(X)\cup Y$推导出知识模型${\Delta }_C$。这里我们用 p ( X ) = ⋃ i = 1 n { p ( x i ) } p(X)=\bigcup_{i=1}^{n}\left\{p\left(\boldsymbol{x}_{i}\right)\right\} p(X)=⋃i=1n​{p(xi​)}来表示所有实例 X = ⋃ i = 1 n { x i } X=\bigcup_{i=1}^{n}\left\{\boldsymbol{x}_{i}\right\} X=⋃i=1n​{xi​}的伪标签，是 Y = ⋃ i = 1 n { y i } Y=\bigcup_{i=1}^{n}\left\{y_{i}\right\} Y=⋃i=1n​{yi​}与X对应的最终概念标号，因此，我们可以将以$B\cup p(X)$和$Y$为条件的溯因知识模型表示为${\Delta }_C(B\cup p(X),Y)$。

就是说这几个要素是可以相互推出来的,一个确定后就可以推另外一个

Optimisation

ABL的目标是学习与背景知识和训练实例一致的假设。更具体地说，ABL试图最大化所推导的假设H与训练数据 D = { ⟨ x i , y i ⟩ } i = 1 n D=\left\{\left\langle\boldsymbol{x}_{i}, y_{i}\right\rangle\right\}_{i=1}^{n} D={⟨xi​,yi​⟩}i=1n​之间的一致性。给定背景知识B：
$$\underset{H=p\cup {\Delta }_C}{\max }\mathrm{Con}(H\cup D;B)$$
H就是感知模型+逻辑模型,即最大化模型和背景知识的一致性

其中$\mathrm{Con}(H\cup D;B)$表示子集${\hat{D}}_C\subseteq D$的大小，其与给定B的$H=p\cup {\Delta }_C$一致。它可以定义如下：
$$\begin{array}{rl}\mathrm{Con}(H\cup D;B)=& \underset{D_c\subseteq D}{\max }\left|D_c\right|\\ & \text{ s.t. }\forall ⟨\mathbf{x},y⟩\in D\left(B\cup {\Delta }_c\cup p(\mathbf{x})|=y\right)\end{array}$$
什么叫一致性,就是指的是满足约束(公式1,之前提到过)的数据集尽可能多

在第t个epoch，当感知模型$p^t$训练不足时，伪标签$p^t(X)$可能是不正确的，并且使得逻辑推导不能推导出满足等式的任何相容的∆C,导致$\mathrm{Con}(H\cup D;B)=0$。

就是说推导出来的规则跟数据集对不上,比如说数据集是1+0 = 1 ,推出来的是 1 + 0 =0

因此，ABL需要纠正错误感知的伪标签以实现一致的溯因，使得${\Delta }_C^t$可以与D中尽可能多的示例一致。这里，我们将待修改的伪标签表示为$\delta \left[p^t(X)\right]\subseteq p^t(X)$，其中δ是一个启发式函数，用于估计哪些伪标签被当前机器学习模型错误感知。

就是说数据集是1+0 = 1,推出来的是 1 + 0 =0,则它就需要修改,ABL修正完后可能是 1 + 0 =_ ,或者是 _ + 0 =0,总之会尽量使修改后的式子尽可能的符合数据集

在删除由δ函数标记的不正确伪标签之后，abl可以应用逻辑推导来推导候选伪标签，以与${\Delta }_C^t$一起考虑修改$\delta \left[p^t(X)\right]$：
$$B\cup p^t(X)-\delta \left[p^t(X)\right]\cup {\Delta }_{\delta \left[p^t(X)\right]}\cup {\Delta }_C^t|=Y$$
其中$pt(X)-\delta [pt(X)]$是由δ确定的剩余的“正确”伪标号，而$∆\delta [pt(X)]$是用于修正$\delta [pt(X)]$的诱导伪标号(abduced pseudo-labels)。

就是说领域模型 + 正确的标签 + 被ABL修改过后标签 + 规则 可以推出Y

从理论上讲，δ可以简单地将所有伪标签标记为“错误”，即让$\delta [pt(X)]=pt(X)$并要求逻辑推导来完成所有的学习工作。在这种情况下，ab1总能推导出满足等式4的一致${\Delta }_{\delta \left[p^t(X)\right]\cup {\Delta }_C^t}$。然而，这意味着逻辑推理必须在不受知觉模型p和原始数据X影响的情况下学习知识模型∆C，这不仅使逻辑推理的搜索空间成倍增大，而且打破了逻辑推理与实际数据之间的联系。因此，ABL选择通过限制$\left|\delta \left[p^t(X)\right]\right|\le M$来将修订限制为不离预期结果太远，其中M定义了逐步搜索空间尺度，并且足以被设置为一个较小的数字。

就是数据集是1+0 = 1,推出来的是 1 + 0 =0,则它就需要修改,ABL修正完后可能是 _ _ _ _ _,即认为全都不对,并且还符合原始数据集,但这样不对,所以设定为最多修改M个位置

因此，当${\mathbf{p}}^t$固定时，我们可以将∆C的优化问题转化为函数δ的优化问题，并重新建立方程2如下
$$\begin{array}{cl}{\max }_{\delta }& \mathrm{Con}\left(H_{\delta }\cup D\right)\\ s.t.& \left|\delta \left[p^t(X)\right]\right|\le M\end{array}$$
其中$H_{\delta }=p^t(X)-\delta \left[p^t(X)\right]\cup {\Delta }_{\delta \left[p^t(X)\right]}\cup {\Delta }_C^t$是由公式4定义的溯因假设。虽然这个目标仍然是非凸的，但是优化δ而不是∆允许ABL在$p^t$值不是最优的情况下对假设进行修正和改进

即最大化修改后的标签和未修改的标签的集合与原始数据集的一致性,并且保证修改次数不会超过M

启发式函数δ可以采取任何形式，只要它易于学习。我们提出用无导数优化来解决这个问题[40]，这是一个用于优化非凸目标的灵活框架。对于方程中的子集选择问题，提出了一种新的子集选择方法5。提出了用贪婪算法求解该问题。

在获得δ和${\Delta }_C^t$之后，ABL可以直接应用逻辑推导得到修正的伪标号$r(X)=p^t(X)-\delta \left[p^t(X)\right]\cup {\Delta }_{\delta \left[p^t(X)\right]}$，用于重新训练机器学习模型。本程序可以制定如下：
$$p^{t+1}=\underset{p}{\mathrm{argmin}}\sum _{i=1}^m\mathrm{Loss}\left(p\left({\mathbf{x}}_i\right),r\left({\mathbf{x}}_i\right)\right)$$
其中Loss代表机器学习的损失函数，r(Xi)∈r(X)是例如Xi∈X的修订伪标签集合。

简而言之，ABL的工作原理如下：在给定训练数据的情况下，使用初始化的机器学习模型来获得伪标签，然后将伪标签作为逻辑推理的原始概念的基础来推导∆C。如果推导由于不一致而终止，则调用等式5中的一致性优化过程来修改伪标签，然后将其用于重新训练机器学习模型。

实现

为了验证该方法的有效性，我们设计了如图4所示的手写方程式解译任务，并应用ABL进行了求解

解译任务的方程式由字符的连续图片组成。公式由符号(“0”、“1”、“+”和“=”)的图像构成，并且它们以未知的运算规则生成，每个示例与指示公式是否正确的标签相关联。机器的任务是从带标签的方程式的训练集进行学习，并且训练的模型是希望能正确预测看不见的方程式。

图5显示了我们的ABL实现的体系结构，它使用卷积神经网络(CNN)[22]作为感知机器学习模型。CNN将图像像素作为输入，并期望输出图像中的符号。符号输出形成伪标签。逻辑推导是通过用PROLOG实现的演绎逻辑程序来实现的。等式5中方程中的一致性优化问题由免导数的优化工具racos[40]求解。

这张图片很好的说明了结构

在训练之前，领域知识-写成逻辑程序-作为背景知识B提供给ALP。在我们的实现中，B只涉及方程的结构和逐位运算的递归定义。关于方程式结构的背景知识是一组递归地定义数字是“0”和“1”的序列的定子句语法(DCG)规则，并且每个方程式共享X+Y=Z的结构，尽管X、Y和Z的长度可以改变。关于逐位运算的知识是一个递归逻辑程序，它反向计算X+Y，即，它逐位运算X和Y，并从最后一位到第一位。补充资料中显示了定义此背景知识的逻辑程序

**备注：**请注意，B中没有定义具体的运算规则，即“0+0”、“0+1”、“1+1”的结果可以是“0”、“1”、“00”、“01”，甚至可以是“10”。缺失的计算规则形成知识模型∆C，需要从数据中学习。

B中只有最基本的规则

训练开始后，CNN将把图像解释成由伪标签“0”、“1”、“+”和“=”构成的符号方程。因为CNN没有接受过训练，所以感知到的符号通常是错误的。在这种情况下，ALP无法根据领域知识推导出任何与训练数据一致的∆C，即没有计算规则能够满足感知到的具有关联标签的伪标签。为了推导出最一致的∆C，ABL学习了用于标记可能错误的伪标签的启发式函数δ。

例如，在开始时，训练不足的CNN很可能将图像解释为伪标签方程${\mathrm{e}\mathrm{q}}_0=[1,1,1,1,1]$，这与任何二进制运算不一致，因为它没有运算符。观察到ALP不能推导出一致的假设，RACOS将学习用空白序言变量替换eq0中的“可能不正确的”伪标签的δ,例如${\mathrm{e}\mathrm{q}}_1=[1{,}_{,}1{,}_{,}1]$。然后，ALP可以推导出涉及运算规则OP(1，1，[1])和修正的伪标签列表${\mathrm{e}\mathrm{q}}_1^{\prime }=[1,+,1,=,1]$的一致假设，其中，后者用于重新训练CNN，帮助它将“+”和“=”的图像与其他符号区分开来

这个例子很重要,形象的说明了等式,规则,以及推导过程

公式中优化5目标的复杂性非常高，这通常使得在优化期间评估整个训练集D是不可行的。因此，AB1执行T次外推和优化，每次使用用于训练的子样本$D_t\subseteq D$。将每次迭代产生的局部一致性推理模型${\Delta }_C^t$作为关系特征保留

就是公式5中在全部的数据集评估一致性工作量大,于是改成从D中选T次,每次选一部分

在神经网络收敛或算法达到迭代极限后，通过关系特征将所有的$⟨{\mathbf{x}}_i,y_i⟩\in D$命题为二值特征向量。对于每个输入等式xi，它的伪标签将由所有关系特征求值，以产生二进制向量${\mathbf{u}}_i=\left[u_{i1},\dots ,u_{iT}\right]$,其中
$$u_{ij}=\{\begin{array}{ll}1,& B\cup {\Delta }_C^j\cup p\left({\mathbf{x}}_i\right)|=y_i\\ 0,& B\cup {\Delta }_C^j\cup p\left({\mathbf{x}}_i\right)\ne y_i\end{array}$$
因此，可以将原始数据集 D = { ⟨ x i , y i ⟩ } D=\left\{\left\langle\boldsymbol{x}_{i}, y_{i}\right\rangle\right\} D={⟨xi​,yi​⟩}变换成新的数据集 D ′ = { ⟨ u i , y i ⟩ } D^{\prime}=\left\{\left\langle\boldsymbol{u}_{i}, y_{i}\right\rangle\right\} D′={⟨ui​,yi​⟩}，从中学习决策模型来处理由次采样引入的噪声。

就是把每个数据都变成了第j时刻的规则是否可以推出y的0,1串

实验

数据集我们构造了两个符号图像集来构建图6所示的方程。数字二进制加法(DBA)方程是用来自基准手写字符数据集[22，36]的图像创建的，而随机符号二进制加法(RBA)方程是从Omniglot数据集[21]的随机选择的字符集构造的，并且与DBA任务中的方程共享同构结构。为了评价比较方法的感知泛化能力，训练方程和测试方程的生成图像是不相交的。每个等式作为数字和运算符的原始图像序列输入。训练和测试数据包含长度从5到26的方程。对于每个长度，它包含300个随机生成的方程，总共有6600个训练示例。这个任务有4！=24个可能的映射到伪标签符号，$4^3=64$个可能的运算规则集(具有交换律)，因此逻辑推导的搜索空间包含1536个不同的可能的∆C。此外，修改伪标签的推导引入了$2^M$个候选。考虑到训练数据量很小(特别是对于只有1200个训练样本的ABL-Short设置)，这项任务并不是微不足道的。

00 01 10 11 4种 A+ B = C 每个位置有4种就是4的3次方

结果

结果图7显示，在这两个任务上，基于ABL的方法显著优于比较的方法，并且ABL正确地学习了定义未知操作的符号规则。所有方法在DBA任务上都比RBA执行得更好，因为DBA任务中的符号图像更容易区分。ABL-ALL和ABL-SHORT的性能没有显著差异，并且随着测试方程长度的增加，这两种方法的性能迅速向随机猜测线方向退化，而基于ABL的方法对不可见数据的外推效果更好，而ABL-ALL-ALL和ABL-SHORT的性能没有显著差异。一个有趣的结果是，人类在这两个任务上的表现非常接近，而且都比ABL差。根据志愿者的说法，他们不会因为区分不同的符号而苦恼，但机器在检查逻辑理论的一致性方面做得更好-在逻辑理论中，人们容易出错。因此，机器学习系统应该充分利用其在逻辑推理方面的优势。

其他结果没放上来

结论

在本文中，我们提出了溯因学习，在这种学习中，机器学习和逻辑推理可以纠缠在一起，互惠互利。我们对ABL框架的初步实现表明，它可以同时执行子符号机器学习和允许递归的全功能一阶逻辑推理。

是，人类在这两个任务上的表现非常接近，而且都比ABL差。根据志愿者的说法，他们不会因为区分不同的符号而苦恼，但机器在检查逻辑理论的一致性方面做得更好-在逻辑理论中，人们容易出错。因此，机器学习系统应该充分利用其在逻辑推理方面的优势。

其他结果没放上来

结论

在本文中，我们提出了溯因学习，在这种学习中，机器学习和逻辑推理可以纠缠在一起，互惠互利。我们对ABL框架的初步实现表明，它可以同时执行子符号机器学习和允许递归的全功能一阶逻辑推理。

该框架具有通用性和灵活性。例如，感知机器学习模型可以是预先训练的模型，而不是从头开始学习；机器学习的任务可以是半监督的，而不是根本没有标签；逻辑推导可能涉及二阶逻辑子句，以便能够推导递归子句和自动发明谓词[26]。我们希望，对溯因学习的探索将有助于为统一的框架铺平道路，使学习和推理融为一体

https://github.com/AbductiveLearning/ABL-HED