可微分因果发现理论学习

张彦峰ZYF

已于 2024-06-23 13:55:42 修改

阅读量4.2w

点赞数 35

分类专栏：系统架构等思考文章标签：学习 ai AI编程 AIGC

于 2024-03-17 13:34:21 首次发布

本文链接：https://blog.csdn.net/xiaofeng10330111/article/details/136779677

版权

系统架构等思考专栏收录该内容

53 篇文章 20 订阅

订阅专栏

（一）因果推理基本范式：因果模型（Structure Causal Model）

（二）因果推理基本范式：潜在结果框架（Potential Outcome Framework）

三、因果发现和问题定义

参考来源

干货分享，感谢您的阅读！

一、背景

（一）聚焦当下人工智能

未来十到二十年，人工智能技术将深入应用于医疗、司法、生产和金融科技等领域，但伴随而来的是日益增多的风险和挑战。长期以来，人工智能主要在互联网领域发展，但随着法律法规的出台，互联网平台逐渐处于监管的风口浪尖，引起了对潜在风险的关注。因此，人们迫切需要关注人工智能技术所带来的风险。

当我们面对人工智能风险的防控时，往往陷入了「只知其然，不知其所以然」的困境。虽然我们能够进行预测，但很难解释为何要做出某些决策，以及何时应该相信系统的判断。这种情况带来了一系列问题：

问题	描述	示例
不可解释性	人工智能系统难以解释其决策的逻辑，限制了人机协同。	在医疗行业，医生不清楚系统判断的依据。
数据分布不匹配	主流人工智能方法要求训练数据和测试数据来自相同的分布，实际应用中难以保证。	模型在不同数据分布下性能下降。
公平性风险	人工智能技术可能引入公平性问题，如对不同背景的人做出不公平的判断。	系统判断黑人犯罪率高于白人。
不可回溯性	人工智能系统的推理和预测过程通常是不可回溯的，难以调整输入获取所需输出。	无法理解系统决策的逻辑。

综上所述，解决人工智能风险需要系统化的方法。这包括发展可解释性的人工智能模型，研究数据分布适应性和领域自适应学习方法，制定公平性指标和约束，并提高系统的可调节性和可控性。只有这样，我们才能更好地应对人工智能技术所带来的风险，实现其安全、可靠地应用于各个领域。

（二）基于关联框架的人工智能

基于关联的框架是指通过观察数据中的相关性来推断变量之间的关系，而基于因果的框架则更注重确定某个变量是否直接导致了结果的变化。

基于关联的框架可能会错误地得出肤色和犯罪率之间存在强关联关系，因为黑人的收入普遍较低，而整体犯罪率也较高。然而，基于因果的框架更加谨慎地考虑了其他可能因素的影响，例如收入水平。通过在两组对照组中控制收入水平的情况下比较黑人和白人的犯罪率，我们可以更准确地判断肤色是否直接导致了犯罪率的差异。在基于关联的框架中，由于未能控制其他可能影响结果的因素，因此可能会产生偏差和误导性的结论。

注意：问题并不在于关联模型本身，而在于如何正确地使用机器学习方法。您指出了关联的三种产生方式：因果机制、混淆效应和样本选择偏差，其中只有因果机制产生的关联是稳定、可解释且可回溯的。

在现实世界中，确实存在许多数据相关性，但并不意味着这些关联就是因果关系。混淆效应和样本选择偏差可能会导致虚假关联，从而影响机器学习模型的性能和可靠性。

（三）基于因果框架的人工智能

从根本上突破当前机器学习的局限性，可能需要使用更严格的统计逻辑，如因果统计，来替代原来的关联统计。这种方法可能会面临一些挑战，因为因果推理主要应用于小数据控制环境下的统计研究，而机器学习往往涉及到大数据环境，其中数据的产生过程是不可控的。

在传统的因果推理框架中，我们通常能够控制数据的产生过程，从而更好地理解因果关系。例如，在一个行为学实验中，研究人员可以控制谁接受了疫苗，谁没有接受，以便推断疫苗的有效性。然而，在大数据的观测研究中，数据的产生过程是不可知的，这给因果推理带来了挑战。

此外，因果推理和机器学习的目标也存在差异。因果推理更注重理解数据产生的机制，而机器学习主要关注预测未来事件的发生。因此，在将因果推理应用于机器学习时，我们需要考虑如何适应大数据环境的特点，并调整方法以解决因果推理和机器学习之间的目标差异。

以下是一套方法体系，旨在解决这个问题：

识别因果结构：在大规模数据中识别出因果结构是首要任务。这可能涉及到利用因果推断方法来确定变量之间的因果关系，包括因果图、因果图模型等技术。这可以帮助我们理解数据生成的机制，并揭示潜在的因果关系。
因果启发的学习模型：一旦识别出因果结构，就需要将这些信息与机器学习模型进行融合。因果启发的学习模型旨在结合因果推断和机器学习方法，以提高模型的解释性、稳定性和准确性。这可能涉及到开发新的机器学习算法，考虑因果关系的约束和先验知识，以及设计适用于大规模数据的因果推断方法。
设计决策机制：最终目标是利用识别出的因果结构来优化决策过程。这包括反事实推理和决策优化机制，以利用因果关系对决策进行指导和优化。这可能涉及到开发基于因果推断的决策模型，考虑潜在的因果效应并设计相应的决策策略。

通过以上方法体系，可以更好地利用因果推理的思想来指导机器学习模型的发展和应用，从而提高模型的解释性、稳定性和决策效果。这需要跨学科的合作和持续的研究努力，以解决因果推理和机器学习之间的鸿沟，并为实现智能决策系统的发展奠定基础。

二、因果推理的基本理论

（一）因果推理基本范式：因果模型（Structure Causal Model）

核心是在已知的因果图中进行推理，包括识别变量之间的因果关系以及影响程度的估计。目前已有一些成熟的方法和准则，如后门准则、前门准则等，用于处理混淆和进行因果估计。

然而，这种方法面临着一个核心问题，即在观测研究中无法定义完整的因果图。尽管在某些领域（如考古学）中可以通过专家知识来定义因果图，但这种方法可能会重蹈“专家系统”的老路，即过于依赖领域专家的主观判断，可能导致模型的局限性和不确定性。

在因果推理中，核心问题确实是如何有效地发现因果结构。因果结构的发现对于正确理解数据生成的机制、推断因果关系以及做出有效的决策至关重要。发现因果结构的挑战在于，它不仅需要考虑变量之间的关联性，还需要考虑因果关系的方向性和因果链条的复杂性。尤其是在大规模数据和高维度数据的情况下，因果结构的发现变得更加困难。

目前，针对因果结构的发现，有一些方法和技术正在不断发展和完善，包括基于因果图的方法、因果关系的因果发现算法、数据驱动的因果推断方法等。这些方法旨在从数据中推断出变量之间的因果关系，并构建因果图模型，以帮助我们更好地理解数据生成的机制和推断因果关系。

但是，尽管已经取得了一些进展，但在复杂的真实世界数据中，仍然存在许多挑战和困难。因此，继续研究和开发新的方法和技术，以更好地发现因果结构，并将其应用于实际问题中，是当前因果推理领域的重要任务之一。

（二）因果推理基本范式：潜在结果框架（Potential Outcome Framework）

潜在结果框架（Potential Outcome Framework）是因果推理的另一个重要范式，其核心思想是不需要了解所有变量的因果结构，而是关注某个特定变量对输出的因果影响，这个变量通常被称为处理（Treatment）或暴露（Exposure）。在这个框架下，我们假设了每个个体都有多个潜在结果，其结果取决于是否接受处理。然而，我们只能观测到其中一种结果，这称为个体的观测结果（Observed Outcome）。

在潜在结果框架中，我们需要考虑干扰因素（Confounders），这些因素可能影响处理和结果之间的关系，而且通常是我们无法控制的。为了准确估计处理对结果的因果效应，我们需要假设已经观测到了所有的干扰因素，并且可以通过统计方法进行控制。

总体来说，潜在结果框架提供了一种简化因果推理的方法，特别是在处理因果关系的复杂性和观测限制时。通过关注处理对输出的直接影响，并控制潜在的干扰因素，我们可以更好地理解处理对结果的因果效应。

三、因果发现和问题定义

因果发现的定义是对于给定的一组样本，其中每个样本都由一些变量去表征，我们希望通过一些可观测数据去找到这些变量之间的因果结构。找到的因果图，可以认为是一个图模型，从生成式模型的角度来讲，我们希望找到一个因果图，使得它能够按照其中的因果结构去生成这样的一组样本，而且这组样本的似然性是最高的。

简而言之，因果发现的目标是通过观测数据找出变量之间的因果关系，并用图模型来表示这些关系。这样的因果图能够最好地解释数据的生成过程，即在给定因果结构下生成观测数据的概率最大。因此，因果发现旨在寻找一个最佳的因果图模型，使其能够最好地解释观测数据并揭示变量之间的因果关系。

这里引入因果推理中的一个重要概念Functional Causal Models (FCMs) ，它描述了变量之间的因果关系如何通过函数关系来实现。在一个有向无环图 (DAG) 中，每个变量都有其父节点，其值可以通过父节点和一个函数的作用再加上噪声来生成。

在线性框架下，这个问题可以转化为如何找到一组参数（通常表示为W），使得对于某个特定变量X的重构最为准确。换句话说，我们希望找到一组参数W，通过线性函数关系将X与其父节点之间的关系建模，以最优地重构X的值。

因此，Functional Causal Models 提供了一种将因果关系转化为函数关系的方法，通过寻找合适的函数和参数，可以更好地理解变量之间的因果关系，并进行因果推断和预测。

有向无环图的优化一直是一个开放性问题，2018年的一篇论文[Zheng, Xun, Bryon Aragam,Pradeep K. Ravikumar, and Eric P. Xing. DAGs with NO TEARS: Continuous Optimization for Structure Learning. Advances in Neural Information Processing Systems 31 (2018).]提出来了一个优化方法：可以在全空间的有向无环图内去做梯度优化，通过增加DAG限制和稀疏限制（l1或l2正则），使得最终X的重构误差最小。

参考来源

美团内部讲座 | 清华大学崔鹏：因果启发的学习、推断和决策 - 美团技术团队

"Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy" by Cathy O'Neil: 探讨了人工智能和大数据时代所带来的社会风险，尤其关注了公平性和不可解释性问题。

"Artificial Unintelligence: How Computers Misunderstand the World" by Meredith Broussard: 作者从技术、文化和社会角度讨论了人工智能系统的局限性和风险，强调了数据质量、算法偏见等问题。

"The AI Does Not Hate You: Superintelligence, Rationality and the Race to Save the World" by Tom Chivers (Essay Collection): 这是一系列关于人工智能和超级智能的短文集，涵盖了伦理、公平性、不确定性等议题。

"Fairness and Abstraction in Sociotechnical Systems" by Timnit Gebru et al. (Research Paper): 这篇论文探讨了人工智能系统中公平性的概念和实现方法，提出了一些解决方案。

"The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation" (2018) by Future of Humanity Institute, University of Oxford: 这份报告涵盖了人工智能可能被恶意利用的各种情景，包括隐私侵犯、信息战等，提出了一些防范措施。

"Ethics and Governance of Artificial Intelligence: Evidence to the UK Parliament" (2017) by The Royal Society and The British Academy: 这份报告探讨了人工智能的伦理和治理问题，提出了一些建议和指导原则。

因果推断在机器学习中的实践前沿方向 - 知乎

Zheng, Xun, Bryon Aragam,Pradeep K. Ravikumar, and Eric P. Xing. DAGs with NO TEARS: Continuous Optimization for Structure Learning. Advances in Neural Information Processing Systems 31 (2018).

Yue He, Peng Cui, et al. DARING: Differentiable Causal Discovery with Residual Independence. KDD, 2021.

Yue He, Zimu Wang, Peng Cui, Hao Zou, Yafeng Zhang, Qiang Cui, Yong Jiang. CausPref: Causal Preference Learning for Out-of-Distribution Recommendation. The WebConf, 2022.

Zheyan Shen, Jiashuo Liu, Yue He, Xingxuan Zhang, Renzhe Xu, Han Yu, Peng Cui. Towards Out-Of-Distribution Generalization: A Survey. arxiv, 2021.