论文精讲 | 基于昇思MindSpore具有可解释自适应优化的联邦因果发现

论文标题

Federated Causality Learning with Explainable Adaptive Optimization

论文来源

AAAI 2024

论文链接

https://ojs.aaai.org/index.php/AAAI/article/view/29566

代码链接

https://www.sdu-idea.cn/codes.php?name=FedCausal

昇思MindSpore作为开源的AI框架，为产学研和开发人员带来端边云全场景协同、极简开发、极致性能、安全可信的体验，支持超大规模AI预训练，自2020年3月28日开源来下载量已超过7百万。昇思MindSpore已支持1000+篇AI顶会论文，走入Top100+高校教学，通过HMS在5000+App上商用，拥有数量众多的开发者，在AI计算中心、智能制造、金融、云、无线、数通、能源、消费者1+8+N、智能汽车等端边云车全场景广泛应用，是Gitee指数最高的开源软件。欢迎大家参与开源贡献、套件、模型众智、行业创新与应用、算法创新、学术合作、AI书籍合作等，贡献您在云侧、端侧、边侧以及安全领域的应用案例。

在科技界、学术界和工业界对昇思MindSpore的广泛支持下，基于昇思MindSpore的AI论文2023年在所有AI框架中占比7%，连续两年进入全球第二，感谢CAAI和各位高校老师支持，我们一起继续努力做好AI科研创新。昇思MindSpore社区支持顶级会议论文研究，持续构建原创AI成果。我会不定期挑选一些优秀的论文来推送和解读，希望更多的产学研专家跟昇思MindSpore合作，一起推动原创AI研究，昇思MindSpore社区会持续支撑好AI创新和AI应用，本文是昇思MindSpore AI顶会论文系列第33篇，我选择了来自山东大学软件学院的余国先和王峻老师团队发表于AAAI2024的一篇论文解读，感谢各位专家教授同学的投稿，更多精彩的论文精读文章和开源代码实现请扫下方二维码访问Models。

01 研究背景

现有的机器学习算法大多关注事件背后的变量之间的关联关系，然而关联关系并不能准确表示数据中潜在的生成关系。因果发现作为一种从观测数据中发现其背后的潜在因果结构与生成关系的研究方向，受到教育、经济以及生物医疗等多个学科领域的关注与研究。有了因果关系，研究者可以进一步探索某些现实事件发生的原因以及所需要的干预手段，甚至根据原因推断现实中没有发生过的结果。

然而，因果发现算法受限于数据的数量和质量，这要求研究者从多个机构或地域中采集数据并用于因果结构学习。目前，随着隐私意识的增强，机构或地域的内部数据不被允许暴露给外部，而从分散的有限数据中很难对因果关系进行准确的建模。此外，不同机构和地域的数据之间存在分布差异，简单的使用聚合数据无法学习到满足所有数据集分布的统一因果结构。为了解决这些问题，该方法将联邦因果模型的局部和全局优化统一为一个具有一致性优化目标的完整DAG学习过程。作者同时证明了算法的优化目标可以被灵活的解释为两种形式以自适应的处理分散在不同机构或地域的同构和异构数据。

02 团队介绍

论文第一作者杨德智，目前就读于山东大学软件学院（2022-至今），硕士研究生，主要研究方向包括生物数据挖掘与因果结构发现，导师为王峻教授。

第一作者导师王峻，山东大学-南洋理工大学人工智能国际联合研究院教授，博士生导师，长期致力于可信可解释人工智能理论及其在生物医学大数据分析中的应用，主持（完成）4项国家自然科学基金和多项省部级科研项目，作为主要完成人获重庆市科技进步和自然科学奖各1项，山东计算机学会自然科学一等奖1项，以第一（通讯）作者在IEEE TKDE/TNNLS/TCYB、中国科学-信息科学、计算机学报、AAAI、 IJCAI等国内外重要期刊和会议学术发表论文100余篇。研究成果受到国内外信息和生命科学等不同学科领域同行的广泛关注和引用。

03 论文简介

本文主要针对因果发现任务在面对分布式数据时，无法在保证数据隐私的前提下从分布异质的多个数据集中学习统一的正确因果图的问题，着眼于将现有因果发现算法扩展到联邦学习框架下。以往的分布式算法直接向全局共享局部模型参数导致严重的隐私数据泄露，或是对局部模型施加了过于严格的约束导致局部模型无法有效更新而偏离本地数据分布。

为此，本文将局部因果模型分解为结构模型和参数模型两部分，通过只向全局共享少部分与结构相关参数，在有效避免隐私泄露风险的同时，聚合全局因果图结构。此外，通过允许局部与因果机制相关的参数自由训练，并在全局参数聚合时进行二次约束优化，本文在学习全局统一的因果图的同时，允许局部模型适配本地异质数据分布。通过合并局部和全局优化目标，本文证明了本文的联邦因果发现目标可以被灵活的解释为同质和异质两种形式，且与传统因果发现算法的优化目标保持一致。

图1 具有可解释自适应优化的联邦因果发现算法框架

本论文提出一种新的具有可解释自适应优化的联邦因果发现方法。考虑到数据分布的异质性导致的因果模型差异以及联邦隐私保护的需求，本文将局部因果模型分解为结构模型和参数模型两部分（如图1所示），他们分别与因果结构和因果机制相关。局部模型根据本地数据训练完整的局部因果模型，并只将结构模型的参数上传给服务器，服务器将聚合后的结构模型返还并替代局部的结构模型。如此，我们可以在分布式设置下轻松的保证各个机构联合学习一致的因果结构即机构模型，同时本地模型又因为自由训练的参数模型而符合局部数据分布。

本论文在全局结构模型聚合时提出一种二次优化策略。由于数据的分布异质性，各局部上传的结构模型未必一致，简单的进行参数平均聚合很可能误导结构模型偏离真实的因果结构。因此我们要通过约束优化再次保证聚合后的结构模型满足因果条件，即结构模型应该映射为一个有向无环图结构。本文在服务器聚合全局模型时，重新优化一个全局结构模型（如图1所示），约束该全局结构模型与局部结构模型的平均聚合结构接近并满足无环约束项。全局优化后的结构模型将广播并替换局部的结构模型。通过局部与全局的迭代循环优化，当全局模型收敛时，我们可以从全局结构模型中抽取出全局统一的因果图。

04 实验结果

本文分别在同质和异质数据分布两种场景下进行实验，每种场景都设置10个客户端，每个客户端包含200个样本，共2000个样本。因果图规模包括10，20，40，80四种设置。评估指标包括发现的图结构包含的边相比于真实图结构包含的边的真正率（TPR）、错误发现率（FDR）以及结构汉明距离（SHD）。通过与最先进的分布式或联邦因果发现方法进行对比，分析证明本文所提出算法的优越性。

图 2 本文方法在同质数据下的对比实验结果

图 3 本文方法在异质数据下的对比实验结果

实验结果显示，与现有的先进的分布式或联邦因果发现方法相比，本文提出的具有可解释自适应优化的联邦因果发现算法具有显著的综合性能提升。此外，本文还通过实验证明了所提出算法输出的局部因果图同样优秀，且输出的全局图完全满足因果条件（即有向无环图）。本文可以灵活的使用同质和异质的数据分布，并且所提出的全局聚合优化在保证结果满足因果约束的同时，有效聚合了局部结构模型，提高了全局因果发现的性能。最后，在真实数据上的实验结果也正面了本文提出的算法在面对真实问题时的有效性和稳定性。

表 1 本文方法输出的全局无环约束项和局部因果图度量

表2 本文方法在真实数据上的实验结果

为了进一步验证MgCSL的有效性，本文在Sachs的蛋白质信号数据集上进行了实验。表2中的结果显示，与基线相比，MgCSL仍然表现出了具有竞争力的性能，在准确率、F1 和 SHD 方面均超过了基线，并识别出了6条正确的因果边。这标志着其在实际应用中具有明显的潜力。

05 总结与展望

本文介绍了一种从分散的异质数据中学习统一全局因果图的联邦方法。该方法使用可解释和自适应的优化过程来协调客户，根据客户的数据优化局部因果图，并学习确保因果无环性的全局因果图。我们的分析表明，所提出的算法在统计同质数据下的优化目标与集中式数据下的因果发现算法的优化目标是一致的，并可以灵活地从分散的异构数据中学习正确的因果结构。实验结果验证了该方法在同质和异质数据上的有效性、通用性和可靠性。

在使用昇思MindSpore过程中，我们也感受到了该框架代码便于阅读，减少了开发的复杂性的优点。不过框架生态系统和社区支持相比其他框架还略微欠缺，希望众多昇思MindSpore开发者能够更近一步提升文档和教程的完备性，使得新手能够快速上手和理解框架的核心概念。也希望更多的开发者能够加入昇思MindSpore社区，分享自己的经验和技巧，帮助其他开发者解决问题，提出改进建议或提交代码贡献，让昇思MindSpore变得更加强大和完善，为昇思MindSpore构建一个更加丰富和多样化的生态系统。

往期回顾

论文精讲 | 基于昇思MindSpore的多粒度因果结构学习有效提升因果关系发现的准确率

论文精讲 | 基于昇思MindSpore评测的FLAG3D——自然语言引导的三维健身动作数据集

论文精讲 | 基于昇思MindSpore的加速对抗训练算法，可显著减少训练时间

论文精讲 | 基于昇思MindSpore的联合矫正与细化平衡低光照图像增强