论文Research of Federated Learning Application Methods and Social Responsibility

摘要和贡献

  在本篇文章，对联邦学习在不同领域的应用模式进行了全面的综述。然后，从合规应用、系统安全机制、信任机制和伦理安全四个方面阐述了联邦学习的社会责任。最后，基于联邦学习的当前特点和监管要求，讨论了联邦学习的研究方向。
  本文综述了联邦学习的最新进展，并分析了其应用领域和最先进的技术。此外，结合其他研究人员的研究结果，确定了现有的联邦学习系统在实践中所面临的社会责任和风险挑战，如监管和合规挑战、网络安全风险、伦理风险和信心危机。最后，我们提出了解决这些风险的一些归因和指导方针。

1.介绍

1.1 联邦学习背景

  数据拥有者在分享数据过程中可能包含终端使用者和组织的敏感信息，比如面部信息，位置信息，个人经济情况。数据在传播过程中可能有泄露的风险。因此许多国家正在制定相关的政策和法律。美国HIPAA 要求保护数据安全。保护的数据包括交易规则、医疗服务机构识别、从业人员识别、医疗信息安全、医疗隐私、健康计划识别、首次伤害报告、患者识别等数据。

    中国政府颁布的《中华人民共和国个人信息保护法》和《中华人民共和国数据安全法》也明确了个人敏感信息的定义和保护方法。此外，加拿大的PIPEDA 和日本的APPI也对隐私问题提出了立法要求，其他国家也颁布了与隐私保护和数据安全相关的法律. 这些法律、政策都要求保护个人敏感信息，特别要求在保护数据隐私安全的前提下可以谨慎地处理和使用数据。比如中国，要求将不同标签信息数据的收集降到最低。其次，数据隐私原则要求对算法的开发人员进行遵守规则，以确保他们不会以秘密的方式滥用它们，以实现自己的有益目标。开发人员还需要为所设计的算法配备一些安全预防措施，以防范可能存在的安全隐患。然而，在全球隐私保护的趋势下，由于有关个人隐私保护的法律法规的不完善，使得数据持有人难以发布数据的价值。“数据岛”（data islands）的问题仍然很严重。
   2016年，谷歌提出了一种特殊的分布式机器学习模型，并将其命名为联邦学习（Federated Learning）。在不存储和传输个人私人数据的情况下，联邦学习中的每个本地客户端都有一个本地模型来完成训练任务。在可靠性的前提下，中心服务器统一维护当前的全局模型（global model）更新。联邦学习是数据最小化原则的直接应用。
  根据多数据参与者的合作模式，联邦学习可分为水平联邦学习、垂直联邦学习和联邦迁移学习.水平联邦学习也被称为基于样本的联邦学习。它是指在每个参与者的数据集的特征空间明显重叠，但样本不同的场景中的应用。基于大数据的水平联邦的学习在实践中是很常见的.例如，一家医疗公司可能希望通过从多家医院获取相应的患者数据来开发一种新的肺炎医学图像分类技术。
   垂直联邦学习或基于特征的联邦学习适用于每个参与者的样本有显著重叠，但样本的特征空间不同的情况。例如，在同一城市有两家不同的公司，一家是银行，另一家是保险公司。他们有很多相同的用户。然而，由于两家公司之间的显著业务差异，它们的功能空间可能会有很大的不同。联邦迁移学习是现有联邦学习系统的一个重要扩展。解决了各参与者数据集的样本和特征空间不同时的多方联合建模问题。Chen等人，使用联邦迁移学习方法，为可穿戴设备提供准确、个性化的医疗保健服务，同时满足隐私要求。
    联邦学习通常使用的加密算法有：同态加密，差分隐私和数据共享。

1.2 联邦学习的挑战

    联邦学习应首先回答它是否符合法规要求和当地的法律法规。
    联邦学习本身仍然存在许多安全问题，如数据盗窃、反样本攻击、数据投毒攻击和后门攻击.。此外，联邦学习应该注意在安全性和执行效率之间的合理权衡。
    信任风险。当前市场上的大多数联邦学习系统都满足半诚实的对手模式。每个参与者都严格遵守协议的要求，并执行协议所要求的步骤。但他们也试图从所获得的数据中挖掘其他参与者的私人信息。
     人工智能伦理危机。在公众的关注和怀疑中，联邦学习也应该关注人工智能的价值观和伦理安全，以避免由算法滥用、算法歧视和其他问题引起的恐慌。联邦学习的发展应严格遵循社会伦理学。

2.相关工作

2.1 定义

  作为一种分布式机器学习框架，联邦学习允许多方在不交换本地数据的情况下联合训练全局机器学习模型。它涵盖了来自多个研究领域的技术，如分布式系统、机器学习和隐私保护。在一个联邦学习系统中，参与者（客户端）和服务器需要进行多轮通信。在每一轮通信中，服务器都会将当前的模型参数发送给客户端的一个子集。选定的客户端使用本地存储的原始数据来训练它们自己的本地模型。然后将优化后的参数转移到服务器上，执行参数聚合。重复上述过程，直到达到预期的训练效果为止。此外，为了提高隐私保护效果，可以在加密机制下完成参数传输过程。典型的算法包括同态加密算法和差分隐私算法。

2.2 联邦学习的发展

  加密计算、计算效率和开源技术是联邦学习中备受关注的三个问题，也是联邦学习发展的三个重要组成部分。计算效率直接影响了联邦学习实施的可能性。联邦学习的安全性是提高计算效率的必要保证。开放源代码促进了联邦学习的发展，并为联邦学习建立良好的生态提供了可能性。

2.2.1加密计算的发展

  加密计算不单独存在。它通常是多种技术的融合应用。加密计算的各种理论和实践促进了联邦学习的快速发展。差分隐私作为加密计算技术之一，因其简单性和强大的隐私保障而引起了人们的关注。Li等人的重点研究了具有差异隐私的异步联邦学习的收敛性，并提出了一种多阶段可调私有算法（MAPA）。通过动态调整噪声尺度和学习率，提高了模型精度和隐私性之间的权衡。.赵等人设计了一种匿名隐私预算分配方案，以保护隐私，同时提高模型性能。乔尔瓦引入了一个隐私保护的FedCollabNN框架，它使机器学习模型在边缘的计算效率和对抗对抗性攻击的鲁棒性。此外，由Rodr‘ıguezBarroso等人提出的联邦学习为如何将联邦学习和差异隐私结合到人工智能服务中提供了指导。Granqvist等人研究了保护隐私的联邦学习在说话者验证系统中的应用。实验结果表明，在保证用户隐私的前提下，训练大型语音辨识模型是可能的。Adnan等人通过一个实际案例说明了应用差异私有联邦学习框架来分析医学图像的可行性。Rodr‘ıguez-G’alelez等人引入了一种算法来加强私人联邦学习中的群体公平性，从而减轻了不公平性对模型性能的影响。其他有影响力的作品包括Ref。
  最近，谷歌和其他24家机构提出了一系列针对联邦学习（FL）的开放挑战，其中包括应用程序扩展和同态加密（HE）。Yang等人设计了一个基于FPGAs的同态加密框架来加速联邦学习的训练阶段。Fang等人提出了框架PFMLP，其中每个学习者通过同态加密对梯度进行加密。Jiang等人提出了一种联邦学习中的安全神经网络。它支持不同客户的密钥私有化。Ma等人的改进了MK-CKKS多密钥同态加密协议，并设计了一种新的联邦学习方法xMK-CKKS。Stripelis等人使用完全同态加密（FHE）来保证联邦学习的隐私。Jiang等人提出了FLASHE，一种针对交叉竖井FL的HE方案，旨在在适应稀疏化技术的同时，减少同态加密带来的兴奋通信开销。Xu等人研究了如何使XGBoost模型适应于具有同态加密的垂直联邦学习，以提高计算效率。Wibawa等人提出了一种使用同态加密的医疗数据隐私保护联邦学习算法。
    在加密计算和联邦学习的收敛应用中，秘密共享（SS）技术也是研究人员感兴趣的一个课题。Zhu等人主要研究基于秘密共享的隐私保护加权联合学习，这种模型的个人隐私数据分布在一组预定义的计算服务器之间。Lin等人开发了一种基于联邦学习的跨用户推荐算法FR-FMSS，该算法使用伪造的标记和秘密共享来保证传输数据的安全性。此外，还提出了一种具有安全保证的无损多方联合XGB学习框架，解决了如何在具有秘密共享[46]的情况下安全有效地部署XGBoost模型的问题.

2.2.2 计算效率的发展

  在隐私保护的前提下，利用迁移学习来克服数据或标签不足的问题。Gao等人提出了一种迁移学习的方法。解决了重叠齐次特征空间的协变量偏移问题，并在严格的隐私保护下连接了不同数据所有者的异构特征空间。

未完待续