联邦学习相关问题

联邦学习相关问题

1. 联邦学习和分布式机器学习的区分点是什么？
   –数据分布特点。分布式机器学习中数据一般被均匀（iid）的分布至各参与计算节点，目标是通过并行计算提升效率。联邦学习中数据天然的存在于不同领域、机构的数据孤岛中，数据分布差异大，不均匀（Non-iid）。
   –分布式学习更关注效率，往往在数据中心进行，数据拥有方是同一个体。联邦学习更关注安全，数据拥有方是多个个体。

2. 联邦学习、安全计算是什么关系？
   安全计算是联邦学习的重要组成部分。联邦学习通过安全计算原理（差分隐私、同态加密、安全多方计算）来保证参与联邦学习的各方数据安全不泄露。

3. 区块链跟联邦学习的结合，您怎么看？
   区块链与联邦学习可以很好的结合互补。联邦学习可以用区块链的分布式记账等功能实现参与各方价值互换和有效激励，也可以用区块链去中心化的属性来实现参与联邦学习计算的中心节点的替代。区块链与联邦学习不同， 区块链把数据重复复制在各个节点实现共识机制，所有上链数据是公开的，而参与联邦学习的各方数据不同且是私密的。

4. 纵向联邦学习可以允许多方（多于两方）进行纵向联邦学习。

5. 联邦学习训练后的模型是一个公共的模型，而各个客户端的数据经常是Non-iid的，如何解决？
   （横向）联邦学习的效果提升主要来源于各方样本量的聚合，训练的目标是得到一个在所有参与方数据上都适用的有泛化能力的模型。各方数据分布Non-idd的情况可以通过联邦学习加元学习、多任务学习来解决。

6. 请问如何保证各个部分数据的质量？比如说医疗影像数据标注的质量参差不齐。
   可以通过在各方节点上部署检验机制的方法来为参与训练的样本数据质量进行阈值淘汰，也可以通过结合一些机器学习技术，比如GAN，来模拟生成训练样本进行检验。另外训练时多采用cross-validation等数据验证方法也可以有效控制数据质量问题。

7. 联邦学习中，不同数据孤岛在联邦学习过程中是否有隐含权重（即算法模型中本身没有设计权重，但实际学习中形成了不同权重）,如何解决？
   联邦学习算法本身按数据量的大小来分配权重，假设数据是分布均匀的。实际上，也可以通过分析数据源与目标数据源的相似性等方法来设计权重。

8. 联邦学习对数据污染的鲁棒性如何？理论上是否存在“胡克盲点”式攻击可能（即通过少量针对性数据污染攻击，导致算法模型直接被污染至不可用状态）？
   存在，目前机器学习模型对于数据污染的鲁棒性是一个共性问题，解决和防御方式也类似。但是联邦学习的联邦平均削弱了单个参与方的影响。

9. 联邦学习可以和函数加密(FE)联系起来吗？
   函数加密与全同态加密有类似之处，可以用于任何函数的加密计算。其和联邦学习结合的技术成熟度有待研究。

10. 请问联邦学习里，非凸优化的联邦平均（Federated averaging）是怎么做的呢？也就是说，当模型的参数被平均的时候，是否模型表现会变的更差？
    FedAvg 的表现效果与数据分布情况、学习率等紧密相关，可以参考联邦学习相关论文。

11. 联邦学习跟迁移学习、元学习相结合是解决小样本场景的有效思路，提出的联邦迁移学习就是为了解决这类问题，基于此方向的研究还有很大的空间。

12. 谈未来在医疗方向的趋势？
    人工智能在医疗方向还处于起步阶段。在医疗很多场景中，获得高质量数据尤其是标签的成本高，需要很多专家经验，同时病人的数据是高度隐私的。另一方面，不同医院采用的医疗设备和程序不同，造成数据异构和领域迁移。所以在保护数据隐私的前提下打通医疗数据孤岛的联邦迁移学习是未来的一个医疗方向。

13. 同态加密是计算密集的，对于图像视频等数据计算量很大，性价比是否可行？
    对于图像等数据计算量很大的应用同态加密是有挑战的。可以通过数据压缩或参数压缩等方法减少需要的传输量，从而减少同态加密的操作。也可以通过并行计算和高性能计算的方法来提高效率。

14. 何看待差分隐私在联邦学习中的应用？
    差分隐私可以在数据层和梯度层分别应用在联邦学习中，保护用户隐私安全。但是单独用差分隐私往往会影响训练模型的效果，在安全和模型效果中不能两全。

15. 聚合算法的通信压缩机制对于安全性的影响？如果有帮助不做参数加密是否可行？
    压缩是保护数据的一种方法，但是往往不能保证数据完全不泄露。可以和加密结合起来。

16. 给模型加密会影响最终模型的性能吗？
    一般不会，但是如果采用同态加密进行非线性计算，模型会受到多项式拟合带来的误差影响。