知识、数据双驱动模型论文阅读

[论文阅读]数据驱动与知识引导结合下人工智能算法模型（综述）

当前人工智能的学习模式主要以数据驱动为主要手段，以深度神经网络为主流的机器学习算法取得了显著进展。但是这种数据驱动的人工智能手段依然面临数据获取成本高、可解释性弱、鲁棒性不强等不足。该文认为在现有机器学习算法中引入先验假设、逻辑规则和方程公式等知识，建立数据和知识双轮驱动的人工智能方法，将推动更通用计算范式的变革创新。

该文将可用于引导人工智能算法模型知识归纳为4种——逻辑知识、视觉知识、物理定律知识和因果知识，探讨将这些知识与现有数据驱动模型相互结合的典型方法。

1. 数据与逻辑知识双驱动方法

逻辑知识一般采取基于知识图谱(Knowledge Graph)的方式表征。目前将知识图谱引入深度学习的技术主要有两种方式：

一是将知识图谱的语义信息输入到深度学习中，例如以翻译嵌入(Translating Embeddings, TransE)、旋转嵌入( Rotation Embedding, RotatE)为代表的知识表示算法和图卷积网络、图注意力网络等图神经网络模型。

二是使用知识图谱的知识作为优化的约束条件。

知识图谱与深度学习的融合虽然已有较多研究工作，但目前仍未实现深度融合，知识表示产生的损失、常识和领域知识的融合等问题都有待进一步解决。

2. 数据与视觉知识双驱动方法

视觉知识目前主要依赖变分自动编码器、胶囊网络、3维重建等算法对图像进行处理和建模来实现视觉知识的学习，可以被广泛应用在视觉识别、图像生成、3维重建等后续计算机视觉任务中。主要是通过对视觉图像的特征解耦，区分背景和物体以及在未知环境中的迁移等任务。

视觉知识具有典型和范畴结构、层次结构和动作结构，可以清晰地限定类别边界和层级关系，降低模型对大规模标注数据的依赖。因此，如何进一步将视觉知识与目前数据驱动下的深度学习技术进行融合是重要的研究方向。

3. 数据与科学定律知识双驱动方法

科学领域中大量的知识已经被数学定义和表达，包括代数、微分方程和不等式等等。人工智能与科学研究相互结合可以对刻画物理世界的复杂方程进行求解，如预测化学反应中分子之间微观运动和揭示大气中湍流变化规律，以计算方式合理应用科学定律来系统化地解决现实中复杂问题。

简单形式的方程可以作为约束来规范训练过程，例如使用动力学方程作为正则化项预测重力作用下的物体轨迹；复杂形式的方程例如偏微分方程，就可以研究人工智能与科学相互结合的途径，探索相关的智能模型和解算方案，助力实现在这些方程所属科学领域的重大科学问题的研究突破。

4. 数据与因果知识双驱动方法

Judea Pearl将推理按照由易到难程度分成3个层次：

1. 从可观测结果中得到的数据关联(association)
2. 对观测结果进行干预介入(intervention)后的决策问题
3. 对已经发生的结果进行否定的反事实推理(counter-factual)。

因果效应评估是洞悉观测数据中因果关联的重要途径，其关键挑战在于消除混淆变量(confounder)对干预变量(treatment)的影响。

因果知识和深度学习相互融合的方式有以下两种：

(1) 大数据驱动因果推理

传统机器学习算法在使用大数据相关关系进行模型推理时，忽略了潜在的混淆变量可能导致的数据间的虚假相关和虚假独立，从而影响推理结果。

在大数据环境下，传统因果推理面临噪声变量、高维变量、未观测变量等多种形式的混淆变量的挑战，因此更需要排除混淆变量找出真正的因果关系。

(2)因果启发的机器学习

旨在将因果关系引入机器学习，让算法能够学习因果关系，从而解决传统机器学习的不可解释、不可泛化问题。

5. 总结