Federated Learning 读书笔记
文章平均质量分 63
读书笔记
非文的NLP修炼笔记
研究生在读,NLP小白一枚,希望大家多多指教~
展开
-
联邦学习的安全机制
虽然在联邦学习的过程中,我们是通过模型参数的交互来进行训练的,而不是交换原始数据,但当前越来越多的研究都表明,即使只有模型的参数或者梯度,也能反向破解原始的输入数据。按照数据收集方式的不同,当前的差分隐私可以分为中心化差分隐私和本地化差分隐私,它们的区别主要在于差分隐私对数据处理的阶段不同。作为一种不需要将密文解密就可以处理密文的方法,同态加密是目前联邦学习系统里最常用的隐私保护机制,例如横向联邦学习里基于同态加密的安全聚合方法、基于同态加密的纵向联邦学习、基于同态加密的联邦迁移学习。原创 2023-02-01 09:33:33 · 1497 阅读 · 1 评论 -
联邦学习的应用前景
这样,我们就可以得到一个足够大的数据集来训练一个模型,该模型的性能比在单一医疗机构的数据上训练得到的模型要好得多。然后,我们可以使用基于联邦学习的方法构建一个综合模型,来对各种AIS的知识图谱进行整合,从而可以将课程知识、学习者模型和数据从一个AIS扩展至另一个。联邦学习和迁移学习是解决这些问题的关键。城市计算被定义为一种获取、整合和分析由城市中不同信息源,例如传感器、设备、车辆、建筑和人类等,产生的大量异构数据的过程,以缓解当前城市面临的主要问题,如空气污染、能源消耗增加和交通拥堵等。原创 2023-01-31 21:25:34 · 1151 阅读 · 0 评论 -
联邦学习概述
另一方面,数据直接与企业收益相关,比如各金融机构有用户的历史逾期数据,一个有效的对逾期客户的识别模型,能够大大降低金融机构的贷款风险,减少潜在的经济损失。这一交换不会暴露本地的用户数据,降低了数据泄露的风险。但由于相互之间的竞争,各方的数据很难进行共享,导致数据呈现出割裂的状态,影响了极度依赖数据的人工智能的发展。由于前述各方面原因,使得我们过去使用的大数据正面临着严重的数据割裂问题,并呈现出“数据孤岛”的现状,导致在进行人工智能模型训练时无法有效利用各参与方的数据,阻碍了算法模型的效果提升。原创 2023-01-31 21:18:56 · 512 阅读 · 0 评论 -
联邦强化学习
智能体根据当前环境条件选择动作决策,环境在智能体决策的影响下发生相应改变,智能体可以根据自身的决策、环境的改变过程得出奖励。分布式强化学习在实现过程中存在许多技术和非技术的问题,其中最关键的问题是如何防止信息泄露,并在分布式强化学习过程中保护智能体的隐私安全。在传统强化学习方法中,从已学习过的任务中,将经验、知识、参数或梯度迁移到新任务中是目前研究的前沿。由于联邦学习在强化学习领域引入了新的约束,因此借用传统强化学习方法或深度学习方法,探索新的强化学习机制形成了一个有意义但极具挑战的研究方向。原创 2023-01-31 10:24:48 · 819 阅读 · 0 评论 -
联邦学习与计算机视觉、自然语言处理及推荐系统
挑战总是伴随着机遇,除了推动英伟达、苹果、华为和小米等移动设备制造商去开发专门用于DNN训练的硬件,在智能设备应用上不断提高的需求也会促进如参数修剪、低秩分解、知识蒸馏等模型压缩技术的发展,从而节省计算资源和通信代价。不同于其他可以有效地从分布式和异构的数据中(如图像、声音信号、其他数值数据)学习模式的智能算法,对于联邦学习,还应定制先进的通信协议,以支持各种设备之间的实时交互,也需要高效的安全协议以保证司机和乘客的个人数据的隐私和安全。在真实的场景中,用户的自然语言数据是敏感的,可能包含隐私内容。原创 2023-01-31 09:17:46 · 937 阅读 · 0 评论 -
联邦学习激励机制的挑战与展望
然而,通过参与联邦学习,这种类型的市场领导者可能会无意地帮助到它地竞争者们,因为联邦学习模型将会在所有参与方间共享,从而会给市场领导者们招致潜在的巨大机会成本。为了维持数据联邦的长期稳定,并且在以后逐渐吸引更多高质量的参与方加入,需要一种强调公平性,并且适合联邦学习环境的激励机制。在这之后,由于现实中的联邦学习商业模型必须在产生利润之前就被建立起来,我们进一步提出了一种能够公平地考虑到激励参与方优先顺序的框架结构,它为人们提供了一种可调节的联邦学习激励机制,可以轻易地调整各种影响因素地权重。原创 2023-01-30 22:30:14 · 416 阅读 · 0 评论 -
联邦迁移学习的挑战与展望
为了解决这些问题,联邦学习可以结合迁移学习技术,使其可以应用于更广的业务范围,同时可以帮助只有少量数据(较少重叠的样本和特征)和弱监督(较少标记)的应用建立有效且精确的机器学习模型,并且遵守数据隐私和安全条例的规定。我们需要确定如何在保证所有参与方的共享表征的隐私安全的前提下,在分布式环境中学习迁移知识表征的方法。在联邦学习框架中,迁移知识表征不仅是以分布式的方式学习得到的,还通常不允许暴露给任何参与方。基于执行迁移学习的方法,迁移学习主要分为三类:基于实例的迁移、基于特征的迁移和基于模型的迁移。原创 2023-01-30 20:31:39 · 851 阅读 · 0 评论 -
纵向联邦学习的挑战与展望
之前的研究工作已经证明,只有具备针对性的安全工具,才能让不同的计算种类达到最优效果,例如混淆电路可以高效地进行比较计算,而秘密共享和同态加密可以提供高效的算术运算。此外,高效的基于隐私保护的实体对齐技术也是一个值得探索的方向,因为它是纵向联邦学习中必不可少的一环。出于不同的商业目的,不同组织拥有的数据集通常具有不同的特征空间,但这些组织可能共享一个巨大的用户群体。我们把在数据集上具有相同的样本空间、不同的特征空间的参与方所组成的联邦学习归类为纵向联邦学习,也可以理解为按特征划分的联邦学习。原创 2023-01-30 15:51:14 · 268 阅读 · 0 评论 -
横向联邦学习的挑战与展望
在这里,超参数可能包括DNN的层数,DNN的每一层中节点的个数、卷积神经网络(CNN)的结构、循环神经网络(RNN)的结构、DNN的输出层及激活函数等。因此,我们需要更灵活的解决方案来移除掉线的参与方并加入新的参与方,并且不能影响到联邦模型训练过程和模型精度,尤其不能影响模型训练的收敛速度。通过加入横向联邦学习,其他的竞争者可能会从这类大公司的数据中受益,使得这些大公司丧失市场的主导地位。例如,一个参与方可能欺骗性地宣称自己能够给模型贡献训练的数据点的数量,并谎报训练模型的测试结果,以此获得更多的益处。原创 2023-01-28 17:26:49 · 211 阅读 · 0 评论