综述1--Federated Learning for Computer Vision

i 目录


i 目录

ii 摘要

I 介绍

II FL的背景知识

1.介绍了什么是横向联邦学习,纵向联邦学习,联邦迁移学习:

2.介绍了CL和FL的异同

3.介绍了FL中数据异构的问题:

4.介绍了FL中聚合的方法:

5.介绍了FL的隐私安全策略:

6.学习过程分类:

​编辑

III FL在CV中的应用(这里疯狂给方法给论文)

一、目标检测--CL在目标检测中的应用:

(1),图像中:

(2),长视频中(以手部检测和跟踪为base):

(3),医学领域中:

二、目标检测--FL在目标检测中的应用

三、基于FL的子监督模型

四、人脸识别--检测口罩佩戴情况

五、人脸识别--相关的人脸检测任务是面部表情识别,情感计算领域

六、视频监控与智能环境

七、视频监控与智能环境--动作识别

八、视频监控与智能环境--人群计数

九、视频监控与智能环境--异常检测

十、医疗领域与医疗AI

IV 未解决的问题

一、介绍了目前FL在CV中面临的挑战

二、通信稳健性

三、客户端节点的异构性

四、Non-IID

五、设备兼容性和网络问题

六、人类偏见

七、隐私性和抗攻击性

八、研究结果的复现

V 挑战

一、介绍了一些挑战

二、介绍了一下解决方案:

VI 未来发展方向

VII 总结(我特毛直接粘贴,累死我了)

VIII 参考文献


ii 摘要


首先介绍了ML在CV中的挑战,然后本文首次介绍了FL在CV中的研究进展、比较了FL在CV和传统方法在CV中的差异、概述了当前FL在CV中的各种应用、也强调了FL的优势以及在CV中的挑战、提出了CV中FL的应用以及安全威胁、讨论了 CV任务中FL在区块链的隐私问题。

TIPS:你看本文图时候,翻译时候用微信截图有个翻译,挺好用的。

I 介绍


  • 介绍了CV的来源和四种主要技术
  • 介绍了CV面临的挑战以及解决办法
  • 介绍了边缘计算架构的兴起对CV带来的机遇与问题并解决方案
  • 介绍了综述选文方法
  • 介绍了别人目前的相关综述的研究
  • 介绍了本文的贡献点

其中四种主要技术是:

  1. 基于统计数据(即从大型训练数据集中学习到的模式);
  2. 以规则形式表达的逻辑;
  3. 基于深度神经网络 (DNN)(捕捉图像特征与最终决策之间的非线性关系);
  4. 基于结合多个决策以找到最大化整体性能的决策的遗传算法和进化算法;

面临的挑战有:

  1. DL 方法面临的最大挑战是它们需要大量的计算资源和能量进行训练,这反过来又使它们难以适用于许多应用设置,在这些应用中,决策必须在边缘进行,使用低资源和有限的功率(例如在无人机、移动电话等中)。为此,已经建立了低功耗 CV 挑战,并提出了新的节能算法和轻量级 DL 架构,例如储层计算 或随机神经网络 。
  2. 另一个挑战是保护用户隐私,边缘计算架构的兴起为隐私保护型 CV 带来了新的潜力,联邦学习 (FL) 和拆分学习 (SL)  是两种 ML 技术,它们以分布式方式处理视觉数据,并引起了 CV 领域研究人员的兴趣。
  3. 这种分布式 CV 模型训练过程带来的一个风险是,恶意用户可能会故意引入噪声或伪造模型,从而使 FL 模型偏向自己,使用区块链技术可以帮助缓解数据或模型共享方法带来的许多威胁。

带来的机遇:

  1. FL 的应用范围从对象检测和图像分类到语义分割等,在医疗保健、自动驾驶和监控系统等领域具有一系列潜在的实际用例

选文方法:

  1. 该综述将解决几个研究问题,这些问题涵盖了 FL 和 CV 结合的核心方面,可在表 I 中总结

本文贡献:

  1. 本研究据作者所知首次对基于 FL 的 CV 贡献进行了评论
  2.  通过展示相关评论提供比较视角,从而将其贡献置于更广泛的学术讨论中
  3. 提供有关 FL 的基础知识,包括其定义和问题表述
  4. 讨论不同的聚合方法,涵盖平均聚合、渐进傅里叶聚合和 FedGKT 聚合
  5. 详细概述与 FL 相关的隐私技术,包括安全 MPC 模型、差分隐私和同态加密,
  6. 区分和阐述监督、无监督和半监督 FL,并评估基于 FL 的 CV 方案。
  7. 它还深入研究了 FL 如何应用于各种 CV 任务
  8. 它解决了 FL 领域的重大挑战和问题,例如通信开销、设备兼容性和人为偏见。
  9. 通过指出研究人员和从业人员可能面临的具体障碍,该评论有助于丰富关于 FL 和 CV 交叉领域的知识体系
  10. 除了回顾之外,该评论还展望了未来,提出了该领域研究和开发的潜在途径。

II FL的背景知识


1.介绍了什么是横向联邦学习,纵向联邦学习,联邦迁移学习:

  1. 横向联邦学习结构如图所示,这个我就不按论文介绍了,我自己学完了,我按照我的理解去总结,和论文一致。就是有很多重复的特征,但是用户id基本不同,也就是大银行和小银行,都是有一样的评估标准跟钱有关,比如征信情况,工资收入,是否负债这些特征都是一样的名字,但是客户,也就是用户id不同,上海的开户行和我陕西的开户行用户id就是不一样的。然后流程就是首先服务器初始化一个模型下发给客户端,客户端根据自己本地数据进行训练返回一个训练好的模型去服务器聚合更新模型,然后重复这个过程知道最优化或者达到终止条件。
  2. 纵向联邦学习图如下所示,纵向联邦学习适用于有大部分相似的用户id,但是数据样本特征差异较大的情况,比如银行和电商,用户都很相似,但是评估的特征不一样,银行评估征信,电商评估偏好。训练流程就是客户端之间彼此加密,不像横向联邦学习还可去中心化协商一个顺序去训练,VTL就不行,客户端之间彼此加密,服务器初始化一个密钥给各方,各方根据自己的数据去各自训练自己的loss和梯度,然后带着加密返回给服务器,服务器根据密钥去解密去更新模型,再继续加密传输训练,整个过程每个客户端只能看到自己的数据。大概是这样,细节一些比如一部分客户端只有数据没有标签,一部分有数据有标签,这种就是有标签的就正常计算loss和梯度,没有的就计算模型梯度就行。
  3. 联邦迁移学习结构如下图所示,但是其实说实话我自己没学联邦迁移模型呢,这个咱就按照论文来讲,首先就是说它适用于那种样本id和特征类别都不相似的那种,论文意思就是每方根据自己的数据集去训练自己的模型,然后训练好了后和各方之间进行交流,然后共同调整参数,共享层或者模型参数,形成一个共享大模型,这种从i方到全局的方法可以通过参数共享等方法实现,然后就是服务器端聚合,后面就和HTL一样了。

2.介绍了CL和FL的异同

  1. CL学习,也就是协作学习(collaborative learning),其中多个实体积极参与并共享其数据和模型更新,以共同训练共享模型。它涉及一种协作努力,参与者通过分享他们的本地知识和见解来协作并为模型的训练做出贡献 。在 FL 的背景下,CL 具体指参与者积极协作并相互交换数据和模型更新以共同改进共享模型的场景 。从这个意义上说,CL 代表了 FL 的一个特定实例
  2. 有以下相同点:数据分布上都是分散的;模型更新上都是用自己的数据更新自己的模型;聚合和协同上都是中央服务器一同聚合并协作训练的;关于隐私安全保护都是去中心化或者只传输梯度和模型参数的不传输原始数据;关于迭代更新,都是通过参与者的汇总更新迭代最后模型的。
  3. 有以下差异:关于数据归属问题,CL每个参与者可以访问所有数据,而FL每个参与者控制着自己的本地数据所有权;关于中心化与去中心化,CL一般都是客户端之间直接通信,而FL一般都是与中心服务器进行通信;关于通信开销,CL直接连接,而FL通过中央服务器去链接,就比如n个客户端,一个服务器,CL直接连那就是n!个信道,而FL与服务器连那就是n个信道;关于可扩展性,FL的结构让FL比CL更具有扩展性,如图为FL在CV里的应用框架分类。

3.介绍了FL中数据异构的问题:

由于各个客户端的数据结构什么的都有区别,应该给每个客户端的目标函数加以权重pk,所有pk之和为1,这是一种常见的处理数据统计异构的方法,当然还有其他方法比如多任务学习和元学习也是解决办法之一。

4.介绍了FL中聚合的方法:

聚合就是本地更新一个w_{k+1} = w_{k} - \eta g_{k},其中gk是上一轮的模型参数关于loss的梯度,wk是上一轮的模型参数,然后把各方的w_{k+1}发送到服务器进行聚合。W_{k+1} = \sum_{k=1}^{m}\frac{n_{k}}{n}w_{t+1}^{k}。如图为聚合方法汇总,我拿微信翻译翻译的,他把名字翻译的怪不辣鸡的,上面从左到右和下面从左到右依次是:FedMA,FedAvg,Turbo-Aggregate和FedPAQ,FedProx,HierFAVG.

  1. 平均聚合方法:也就是FedAVG算法,这个经典算法可以看论文,此处不再赘述
  2. 渐进傅里叶算法:这个还没学。可以看论文:《Personalized retrogressresilient framework for real-world medical federated learning》论文这么说的:该方法涉及在服务器上开发 PFA,从而确保稳定高效地收集全局知识。这是通过从低频到高频逐步集成客户端模型来实现的。此外,作者在客户端引入了一个副模型来接收聚合的服务器模型。这有助于实施 DET 策略,该策略遵循三种类型的决策 (dk):恢复-交换-升华。这些步骤旨在通过平稳地传递全局知识来增强个性化的本地模型。在这个过程中,利用快速傅里叶变换 (FFT) 的优点是可以获得参数的振幅图和相位图(从参数到图的转换)。逆FFT(IFFT)用于逆运算(从映射转换为参数)。图6说明了PFA算法的原理,该算法可用作FL中的聚合技术。
  3. FedGKT聚合:也就是联邦群组知识转移,代表了一种简化的 FL 方法,专门针对资源有限的边缘设备。其主要目标是通过采用类似于 FedAvg 的局部随机梯度下降 (SGD) 训练,结合 FedAvg 和分割学习 (SL) 的优势,同时确保边缘的计算负担较低,类似于 SL。训练流程如图:

    (i) 在边缘设备处,使用紧凑的 CNN,包括轻量级特征提取器和分类器,使用其私有数据进行有效训练(本地训练)。(ii) 在本地训练之后,所有边缘节点之间达成共识,以生成统一的张量维度作为特征提取器的输出。随后,训练更大的服务器模型,其中从边缘侧模型中提取的特征作为输入。训练过程采用基于知识蒸馏 (KD) 的损失函数 [10] 来最小化基本事实和软标签预测之间的差异,软标签预测表示从边缘侧模型获得的概率估计(定期转移)。(iii)为了增强边缘模型的性能,服务器将其预测的软标签传送到边缘,使边缘能够使用基于 KD 的损失函数和服务器的软标签对其本地数据集进行进一步训练(传回)。因此,服务器和边缘模型都从知识交换中相互受益,从而提高性能。(iv)完成训练过程后,最终模型是局部特征提取器和共享服务器模型的融合(Edgesided 模型)

5.介绍了FL的隐私安全策略:

  1. MPC
  2. 差分隐私
  3. 同态加密

6.学习过程分类:

  1. 有监督:有数据有标签
  2. 无监督:有数据无标签
  3. 半监督:有的数据有标签有的数据无标签
  4. 如图为有监督模型流程图:
  5. 半监督模型的工作流程:

6.评估了FL在CV中的效率问题,

III FL在CV中的应用(这里疯狂给方法给论文)


一、目标检测--CL在目标检测中的应用

(1),图像中:

  1.  ①根据RGB-D方法提出CL技术下的CoNet框架(该框架将从图像的低级特征中提取的边缘信息与空间注意图的优点相结合,该空间注意图可检测图像中的显著特征,深度图像可更好地定位场景中的显著物体。三个不同的协作者组合在一个知识收集器模块中,该模块首先连接显著特征和边缘特征以共同学习显著物体的边界和位置,然后使用深度信息将显著区域与其背景分离)
  2. ②提出了一种用于对图像集进行内容感知分割的 NN 架构(该架构使用组 CL 框架 (GCoNet) 从输入图像生成共显著图。所提出的方法优于标准 SOD 替代方案,并且能够实时检测共显著对象。所采用的主要标准是图像组内提取对象的紧凑性以及对象与场景中其他噪声对象的可分离性。)

(2),长视频中(以手部检测和跟踪为base):

  1. 论文73,74建议手部检测模型(基于Faster R-CNN)结合图像(帧)序列的投影,以便检测跨帧几乎保持稳定的边界框簇,即使它们在某些帧中被遮挡。
  2. 论文[75] 提出了一种方法,首先检测物体的各个部分,然后尝试将它们关联起来并检测物体。 检测到的物体部分称为颗粒,即具有简单属性(例如颜色)的小区域,将它们与上下文分开。他们使用基于模拟退火的组合优化方法,学习如何关联构成对象的适当相邻颗粒。
  3. 论文[76] 还讨论了重叠对象的问题,其中作者提出了一种新的对象检测算法,该算法使用更好的损失函数来改善检测到的对象定位并抑制冗余检测框。

(3),医学领域中:

  1. 论文[77] 将 CL 应用于医学图像分割和分类。作者区分了图像分割和片段注释任务,以及通过将图像视为一个整体来检测疾病严重程度的任务。他们建议使用 CL 方法进行疾病严重程度分类,该方法基于对检测到和注释的片段的关注
  2. 论文[78] 提出了一种弱监督的 CL 框架,允许使用图像级别的标签进行对象检测(所提出的框架将弱监督学习器(即基于 VGG16 构建的双流 CNN)与强监督学习器(即 faster-RCNN)相结合,并以协作方式训练两个子网络。前一个子网络优化了多标签分类任务,而后一个子网络优化了检测到的对象边界框的预测一致性。)
  3. 论文[79] 提出了另一种弱监督对象检测方法(该方法使用图像级标签来学习检测训练图像中对象的准确位置。首先在图像级标签上训练 CL 框架,旨在优化图像级分类器并为更可信的实例(即没有太多噪音、物体更少、背景更简单)分配更高的权重。然后,使用课程学习组件来指导对象定位和分类的学习过程)
  4. 在 论文[80] 中,作者还提出了一种从遥感图像中检测物体的方法,该方法结合了用于图像级标签的弱监督检测器和用于物体定位的强监督检测器。
  5. 同样的方法,论文[81] 将显著物体检测任务分成两个并行检查的子任务。第一个任务涉及内部语义的估计,第二个任务涉及物体边界的预测。(VGG-16 用作从图像中提取特征的基础,并使用附加层来定义其语义。第二部分结合了两个解码器。第一个检测图像中更广泛的感兴趣区域,第二个执行细粒度的边界检测。 CL 网络将两个网络连接起来,以便有效地融合语义和边界并提取每幅图像的显著图)
  6. 论文[82] 提出了将图像增强网络与物体识别网络相结合,以便能够识别极低分辨率图像中的物体。这两个网络使用 CL 技术进行训练,其中来自物体识别网络的知识用于增强作为另一个网络输入的低分辨率图像。然后将增强后的图像输入到分类器以提高其性能。为了优化物体识别性能,结合了四种不同的损失(重建、永久、分类和边缘损失)。在分布式和 CL 设置中传输知识蒸馏方法已被证明对在线物体检测任务有益。
  7. *论文[83]提出学生模型(每个节点一个)被独立的使用和融合了全部学生逻辑的他们老师一样的模型去训练。然后,老师的知识以软目标的形式提炼回学生。该逻辑可以轻松移植到 FL 范式,作为基于 FL 的平均(FedAvg)或更熟练的平均技术的替代方案。

二、目标检测--FL在目标检测中的应用

  1. 论文[84] 中的作者提出了一种 FL 方法FedAVG,该方法可以提高联合平均模型聚合在独立同分布 (IID) 数据上的性能。
  2. 但是在比如医学数据上,很多数据都是non-IID的,所以他们自己更新了一个新的模型:他们提出了 FedAvg 的加权变体,可以提高非 IID 图像数据中的 FL 性能。在边缘使用协作智能或在边缘和云之间取得平衡是一种有效的 FL 范例,可以提高对象检测任务的性能。
  3. 论文[85] 的工作表明,将深度 NN 模型在云和边缘之间拆分,除了保护隐私和安全之外,还可以提高对象检测任务的效率。 可以通过量化和压缩前几层的张量,然后将它们发送到驻留在云中的最终层来提高效率。 根据执行拆分的位置,优先使用不同的压缩技术(无损或有损)。
  4. 论文[86] 中使用了相同的网络拆分策略(splitNN)来保护医疗数据的隐私
  5. 还是论文【86】为了进一步保护训练样本的标签不被服务器泄露,作者还提出了一个 U 形前向和后向传播过程,其中网络的第一层和最后一层(连同训练标签)都保存在客户端中。最后,他们提出了一个垂直分区数据模型,其中多个客户端并行训练其网络的相同第一层,并将输出发送到服务器,服务器将它们连接起来,然后再继续处理剩余的层。这样,客户端就可以共享模型(至少是最后一层),而无需共享数据。

三、基于FL的子监督模型

  1. 参考文献 [87] 引入了一种联邦混合自监督学习 (FedHSSL) 框架,该框架结合了 VFL 和 SSL 技术(如 SimSiam),解决了数据不足的问题。(FedHSSL 利用跨方视图以及每方内对齐和未对齐15 个样本的本地视图来增强表示学习。 它还结合了使用各方共享的通用特征的部分模型聚合。)
  2. Zhuang 等人 [88] 提出了一个通用的 FedSSL 框架,该框架可容纳基于 Siamese 网络的现有 SSL 方法,并为未来的方法提供灵活性。
  3. 作者提出了一种称为联邦散度感知指数移动平均 (FedEMA) 更新的新模型更新方法,该方法使用全局模型的指数移动平均自适应地更新客户端的局部模型,并根据模型散度动态测量衰减率。实验结果表明,FedEMA 在线性评估方面优于现有方法。
  4.  Saeed 等人 [89] 提出了一种基于小波变换 (WT) 的自监督方法,称为尺度图-信号对应学习。(以从未标记的传感器输入(例如脑电图、血容量脉搏、加速度计和 WiFi 信道状态信息)中学习表示。所提出的方法解决了与监督学习的集中式数据存储库相关的隐私、带宽限制和注释成本问题。)
  5. Yan 等人 [90] 提出了一种用于医学图像分析的稳健且标签高效的自监督 FL (LE-SSFL) 框架。(该方法利用基于 Transformer 的自监督预训练方法,使用蒙版图像建模对分散的目标任务数据集进行训练。这实现了稳健的表征学习和有效的知识转移。)
  6. 与现有的 FL 算法相比,FedSSL 预训练方法对分布外数据具有更好的泛化能力,并且在标记数据有限的情况下性能也有所提高。表 III 总结了针对对象检测任务提出的 FL 框架。

四、人脸识别--检测口罩佩戴情况

当监控摄像头收集视觉数据时,对口罩佩戴情况的监控可以分为两个独立的任务:i)人脸检测,ii)检测是否正确佩戴口罩。第二项任务对用户隐私构成风险,因此 FL 是首选方法

  1. 利用扩张视网膜网络人脸定位网络在密集的人群中检测人脸,包括清晰的人脸和遮挡的人脸
  2. 还使用 ​​SRNet20 网络来处理检测到的人脸。第二个网络使用多个客户端节点进行训练,这些节点与中央服务器共享其模型,中央服务器汇总客户端模型。

五、人脸识别--相关的人脸检测任务是面部表情识别,情感计算领域

  1. 论文[69] 进行的研究提出了一种基于少样本元学习的 FL 框架(该框架只需要有限数量的标记图像即可进行训练。本地设备处理大量未标记的面部图像,这些图像用于训练编码器网络以学习面部表征。中央服务器定期使用 FedAvg 算法聚合模型以增强表征学习。此外,第二个少样本学习器使用少量标记的私人面部表情来训练本地模型,随后将其聚合到中央服务器中。)

六、视频监控与智能环境

视频监控 [92] 是一种在集中式(云)和分布式(基于边缘)架构之间平衡工作负载方面吸引 CV 研究人员兴趣的应用。边缘计算在工作负载平衡方面提供了多种解决方案。然而,它增加了新的挑战,包括通过通信网络传输的数据的压缩和过滤,以及边缘设备之间知识的碎片化。

  1. 论文[93] 提出了一种多层设计,以尽量减少边缘和云之间的通信,并使用 FL 来更新检测模型,而无需将训练数据发送到云端。( 多层架构包括边缘上执行压缩和过滤的数据采集层、具有专门用于特定任务(例如人脸识别、车牌检测等)的边缘服务器的对象检测和识别层,以及解决边缘任务并标记必须传达给云端的数据和模型的 FL 层。传输到云端的信息通常包括模型参数和相应的权重。)

  2. 论文[94] 提出了一种通用的 FL 架构,用于处理传感器数据以进行人类活动识别。(所提出的 FL 架构基于使用边缘节点上的本地数据进行训练的联合聚合器。聚合器将模型发送到中央实体,在那里使用联合平均算法生成一个通用模型,该模型分发回边缘节点。 视频监控场景中的联合聚合器可以是使用本地数据在边缘进行训练的本地服务器。)

  3. 论文[95] 引入了一个基于轻量级版本的 Dense-MobileNet 模型的 FL 框架,用于处理无人机 (UAV) 群收集的航拍图像。(原理:用于视觉感应的 UAV 群收集雾霾图像,并由收集有关空气质量信息的地面传感器提供支持。每架 UAV 都采用 ML 模型来将空气质量与雾霾图像关联起来,并将其训练好的梯度与中央服务器共享。服务器结合梯度来学习全局模型,然后使用该模型预测该地区的空气质量分布)

  4. [96]、[97] 中还介绍了支持 FL 驱动的 CV 应用的平台。[96] 中的 Lia 等人在火灾检测任务中演示了 FedVision,使用 YOLOv3 模型进行物体检测,并报告了它在三名飞行员身上的使用情况,包括通过摄像头进行安全隐患检测、光伏板监控和 ATM 中的可疑交易监控

  5. Catalfamo 等人 [97] 彻底研究了使用边缘联邦来实现基于 ML 的解决方案

七、视频监控与智能环境--动作识别

  1. 使用知识蒸馏,[98] 允许具有有限计算资源的客户端节点通过在大型数据存储库上的中央服务器上执行模型压缩来执行动作识别。在这样做时,使用微调,因为小数据集不适合动作识别模型学习复杂的时空特征
  2. [99] 使用 FL 构建了一个驾驶员动作识别系统。后者已用于模型训练以保护用户的隐私,同时实现在线模型升级。
  3. 在 [48] 中,通过以分散方式训练检测模型实现了基于 FL 的驾驶员活动识别系统。FedAvg 和 FedGKT 已经被应用,且在实战中得到了证明。
  4. Zhao 等人 [62] 提出了一种用于活动识别的半监督 FL,它帮助边缘设备使用自动编码器和未注释的本地数据对一般表示进行无监督学习。在这种情况下,云服务器通过在学习到的表示和注释数据上训练活动分类器来执行监督学习。

八、视频监控与智能环境--人群计数

当在密集人群中为 CV 算法分配更精细的任务时,例如检测是否佩戴口罩 [91],难度会增加,因为目标对象(即口罩)具有不同的尺度和遮挡。FL 是一种很有前途的解决方案,可以增强个人的隐私

  1. 尺度变化、遮挡和人群分布的多样性仍然是悬而未决的问题,需要有效的检测技术,例如深度负相关学习 [100]、关系注意 [101] 等。 
  2. 人群计数是一项复杂的 CV 任务,尤其是当多个传感器(即摄像头)组合在一起时。FL 方法很有用,因为它们允许分布式训练器交换模型并快速提高性能,尤其是当集中式训练器能够定期验证和提高聚合模型的质量时 [27]。
  3. 当分布式节点事先不受信任,或者其数据质量不明确时,需要更多的控制机制和激励措施来避免生成的模型恶化。当分布式训练者必须合作才能达成共识时,无论是为了人群计数还是其他任务,重要的是为他们提供足够的激励,以使他们获得信任 [102]。
  4. 基于区块链的方法 [103] 设法在训练过的模型之间分配激励,并评估其可靠性,以公平地分配任何潜在利润(或信任)。

九、视频监控与智能环境--异常检测

异常检测是一项有趣的数据挖掘任务,在 CV 中具有许多应用。它涉及识别数据中的奇怪模式,这些模式可能表示虚假或不正确的情况。文献中已经开发了几种尖端的 ML 和 DL 算法来检测和防止此类事件。

  1. [105] 介绍了使用自动编码器和 FL 检测异常的大写字母。
  2. Bharti 等人 [106] 提出了一种基于边缘的 FL 方法,用于使用 CV 自动检查产品。他们的主要基础是 SqueezeNet,
  3. 针对视频监控和智能环境提出的 FL 框架摘要。最佳性能 (BP)、项目链接可用性 (PLA)。

十、医疗领域与医疗AI

FL 通过交换客户端模型而不是私人数据,为 CL 提供了一种有前途的去中心化解决方案。

  1. Sheller 等人 [108] 进行了第一项研究,研究了 FL 在多机构协作中的应用,并实现了无需共享患者数据即可训练深度学习模型。
  2. Linardos 等人 [46] 使用 FL 方案对心血管磁共振进行建模,该方案专注于肥厚型心肌病的诊断。部署了一个预先训练了动作识别的 3D-CNN 模型。(使用两种技术和四种数据增强策略将形状先验信息集成到 3D-CNN 中(图 10)。然后在自动心脏诊断挑战 (ACDC) 数据集上对该方法进行了评估。[109] 解决了多部位 fMRI 分类问题,同时使用 FL 模型保护了隐私。)
  3. Dayan 等人 [110] 开发了一个 FL 模型,并基于来自全球 20 家机构的数据进行训练,即 EMR 胸部 X 光 AI 模型 (EXAM)。
  4. [111] 部署了一种基于 FL 的解决方案,可根据胸部 X 光片 (CXR) 图像筛查 COVID-19。
  5. [112] 提出了一种基于 CNN 的通信效率高的 FL 方案,用于从 CXR 图像中对多胸部疾病进行分类
  6.  [113] 提出了一种实时 FL 参与者贡献测量方法,称为 Fedcm。后者已被用于根据医学图像识别 COVID-19。
  7. 由于不同位置的 fMRI 分布存在差异,专业域自适应 (MoE-DA) 和对抗域对齐 (ADA) 方案的混合体被集成到 FL 算法中
  8. [115] 引入了一种变化感知 FL 方法,通过将所有客户端的图像转换到公共图像空间上,减少了客户端之间的变化。引入了一个隐私保护生成对抗网络,即 PPWGAN-GP。接下来,为每个客户端部署一个修改后的 CycleGAN,以将其原始图像传输到由共享合成图像定义的目标图像空间。
  9. [116] 使用 FL 方案安全地访问和荟萃分析生物医学数据,而无需共享个人信息。具体而言,研究了临床队列和疾病之间的大脑结构关系。
  10. Sheller 及其同事 [117] 部署了一个 FL 方案,以促进多机构合作,而无需共享患者数据
  11. [118] 中,多个机构的 MR 数据在隐私保护下共享。此外,引入了 MR 图像重建的跨站点建模,以减少域偏移并提高 FL 模型的泛化能力
  12. [119] 结合了差异隐私和弱监督注意多实例学习 (WS-AMIL),以开发一种用于计算病理学中千兆像素全幻灯片图像的隐私保护 FL 方法
  13. [120] 中的研究人员在为 BraTS 数据集上的脑肿瘤分割而设计的 FL 设置中实施了差异隐私方案来保护患者数据
  14. Bercea 等人 [121] 开发了一种解开的 FL 方法,以在无监督模式下分割脑病理。
  15. [122] 尝试使用图像增强来提高非 IID 设置中基于 FL 的医学图像分析的性能。
  16. [123] 介绍了一种基于 FL 的零水印技术,用于远程皮肤病医疗框架中的安全和隐私保护。基于 FL 的自动编码器用于使用二维离散余弦变换(2DDCT)从皮肤病学数据中提取图像特征。
  17. [124]、[125] 提出了两种基于水印的 FL 策略。第一种称为 WAFFLE,旨在通过为模型所有者提供一种展示其模型所有权的机制来防止全球 FL 模型被盗;第二种是采用客户端后门触发的水印来保护 FL 模型验证。
  18. 区块链也是用于数据隐私的另一种手段,Polap 等人 [126] 使用区块链和 FL 技术开发了一种基于代理架构的智能医疗系统。
  19. [127] 提出了一种差分隐私 FL 解决方案来分割多站点医学图像,以进一步增强对攻击的隐私保护。
  20. Guo 等人 [128] 提出了一种基于 FL 的医疗信息物理系统中分布式数据的方法
  21. [129] 中的作者提出了一种技术来协调异构医学图像上 FL 模型中的局部和全局漂移。
  22. [130] 解决了联邦域泛化 (FedDG) 的问题设置。这有助于从各种分布式 SDs 中学习 F 架构,从而使其能够泛化到看不见的 TDs。这是通过引入连续频率空间中的情景学习 (ELCFS) 技术实现的。
  23. [131] 提出了一种基于部分初始化的跨域个性化 FL,即 PartialFed。
  24. [132] 使用渐进式训练设计了一种有效通信和计算高效的 FL 方案。
  25. [133] 提出了一种具有共享标签分布的 FL 方案,即 FedSLD。这种方法可以减少数据异质性带来的差异,并通过了解客户端的标签分布来调整优化过程中每个样本对局部目标的贡献

十一、自动驾驶

近年来,随着CV技术的进步,自动驾驶越来越受到人们的关注,而CV正是自动驾驶技术的核心。车辆利用物体探测器分析由多个传感器和摄像头收集的图像实时分析其周围环境,然后识别不同的物体,包括其他车辆、路标、障碍物、行人等,从而帮助他们安全地在道路上行驶。虽然大量的研究集中在通过在集中式大规模数据集上训练DL算法来提高准确性,但很少有研究涉及到用户的隐私。为此,在自动驾驶中使用FL最近引起了越来越多的关注。然而,提出了许多挑战,包括客户机和服务器之间的数据差异、昂贵的通信、系统异构性和隐私问题。一般来说,隐私问题包括内部和外部数据,如行人的面部表情、车辆的位置等。

  1. [135].结果表明,FL可以显著提高局部边缘模型的质量,达到与集中式ML相同的精度水平,而不会产生负面影响。FL还可以加快模型训练速度并降低通信开销,因此对于将ML/DL组件部署到各种嵌入式系统非常有用。图11给出了一个基于FL的自动驾驶汽车轮转角预测框架。
  2. [136]提出了一种通信高效的FL检测疲劳驾驶行为,即Fedsup
  3. [136] 中,引入了联合自动驾驶网络 (FADNet) 解决方案,以增强模型的稳定性,确保收敛,并处理训练 FL 模型时不平衡的数据分布问题。
  4. 137提出了一种两层 FL 模型,该模型利用分布式端边云架构实现更高效、更准确的学习,同时确保数据隐私保护并减少通信开销。设计了一种新颖的多层异构模型选择和聚合方案,以更好地利用 6G 支持的车载网络中单个车辆和路边单元 (RSU) 的本地和全局环境。
  5. 图 12 概述了基于卷积神经网络 (TFL-CNN) 框架的两层 FL 模型
  6. 表 VI 总结了针对自动驾驶汽车提出的 FL 框架

IV 未解决的问题


一、介绍了目前FL在CV中面临的挑战

  1. 由于 FL 是一种分布式学习技术,因此必须保证联合网络节点之间的有效通信,以便它们能够传达学习到的模型参数。
  2. 模型可以在具有不同硬件架构和功能的节点(例如 IoT 设备、智能手机等)上进行训练,这些节点构成了 FL 的异构环境。因此,重要的是要建立管理同一网络中异构节点的机制,同时考虑到它们的限制和能力。
  3. 必须考虑的第三个问题是到达每个节点的数据的统计异质性
  4. 隐私和稳健性问题仍然存在,必须正确设计和开发保护隐私的方法,同时保证生成的模型对任何类型的违规或攻击都具有稳健性

二、通信稳健性

  1. 为了减轻通信开销并建立通信高效的联合策略,[145] 提出了对传输数据进行压缩的方案。
  2. [146] 专注于识别不相关的模型并将其排除在聚合之外,从而显著降低通信成本
  3. FLchain [36] 中,客户端和中央服务器之间的模型通信成本(在 FL 中很常见)被与区块链账本共享模型的成本所取代。因此,重要的是考虑此过程所需的时间,包括本地训练、模型传输、共识和区块挖掘。

三、客户端节点的异构性

  1. [148] 中提出了一种 FL 框架 FedCor,它利用基于相关性的客户端选择策略来提高 FL 的收敛速度。
  2. [149]证明,基于自注意力的架构(例如Transformers)对数据分布变化的抵抗力更强,因此可以提高FL在异构设备上的有效性
  3. [150]的作者提出了一种替代方法,称为FedAlign,旨在通过关注局部学习而不是近端限制来解决数据异质性问题。
  4. 当 FL 仅限于共享相同模型架构的客户端节点时,可以应用 FedAvg 算法及其替代方案(例如 FedSDG、FedProx 等)在每次迭代中合并本地训练的模型 [151]。
  5. 当模型共享其模型而不是其参数或更新时,传统 FL 的障碍就会消除。联邦模型蒸馏 (FedMD) 等算法提出了一种模型不可知的联邦解决方案,它将本地模型的预测发送到中心节点而不是模型本身 [154]。
  6. [155] 提出了一种基于强化学习的中央服务器,该服务器根据客户端模型的质量和整体响应逐渐对客户端进行加权,试图建立一组用于实现近乎最佳性能的客户端。

四、Non-IID

大量研究表明,FL 在非独立同分布或异构数据上的准确性将不可避免地下降,主要是因为非独立同分布数据导致局部模型权重的发散 [156],这些形式会影响整体性能,必须采取缓解措施来避免它 [157]。这些包括数据共享和增强,以及使用局部和全局信息的组合对局部模型进行微调。

  1. Wang wt al. [158] 提出了 FAVOR,这是一种基于强化的方法(深度 Q 学习)
  2. 另一组方法尝试通过使用分层算法对局部更新进行聚类来平衡非 IID 数据的偏差 [159]

五、设备兼容性和网络问题

如果参与 FL 的各方位于不同的地理区域,则通过网络传输模型更新所需的时间可能会有很大差异,从而导致训练过程延迟

六、人类偏见

模型可能使用带有偏见或不准确注释的数据进行训练。必须仔细考虑并解决这些问题,以确保模型公平公正 [161]

七、隐私性和抗攻击性

八、研究结果的复现

V 挑战


一、介绍了一些挑战

  1. 在 CV 任务中,数据可能是异构的,并且模型需要具有鲁棒性才能处理光照、视点和遮挡的变化
  2. 对于 CV 任务(例如物体检测),模型可能很大,通信成本可能很高。这可能导致训练时间变慢和能耗增加。
  3. FL 要求客户端与服务器共享数据,这可能会引发隐私和安全问题
  4. FL 需要聚合来自多个客户端的模型以生成全局模型。在 CV 任务中,这可能具有挑战性,因为模型质量和客户端之间的数据分布存在差异。

二、介绍了一下解决方案:

FedCV [166] 是一个基准测试框架,用于评估 FL 在流行的 CV 任务(例如图像分类和分割以及对象检测)中的应用。它包括非 IID 数据集和各种用于实验的模型和算法。实验验证了上述 FL 在 CV 任务中面临的挑战:

  1. i)使用非 IID 数据时模型精度下降,
  2. ii)在 FL 设置中优化训练的复杂性,
  3. iii)CV 中使用的 NN 模型的大量参数会影响 FL 性能。

FedVision [96] 是一个在线平台,用于使用 FL 开发对象检测解决方案,其三步工作流程包括

  1. i)图像注释,
  2. ii)水平 FL 模型训练和
  3. iii)模型更新。

由于该平台是通用的,它允许用户配置学习参数、安排服务器和客户端之间的通信、分配任务和监控资源的利用率。本节中提到的 FL 的主要挑战也适用于 FedVision,不过 FedVision 选择了特定的策略来解决这些挑战。它使用模型压缩来减少通信开销,使用云对象存储在服务器中存储大量数据(模型参数),以及基于 YOLOv3 的单阶段方法对模型进行端到端训练,以识别边界框和对象类别。然而,FL 方法在 CV 中的真正挑战来自于监控摄像头等现实世界图像的应用。[167]。收集的大规模数据和几乎实时推理的要求给 FL 专家带来了更多的设计挑战。

VI 未来发展方向


  1. 在异构环境中部署
  2. 高效通信
  3. 分散式 FL
  4. 新的组织模型
  5. 大型语言模型和生成聊天机器人

VII 总结(我特毛直接粘贴,累死我了)


联邦学习 (FL) 已成为计算机视觉 (CV) 领域的革命性范式,在不损害数据隐私的情况下促进了协作机器学习。本篇评论介绍了联邦学习的复杂领域,从其基础概念到 CV 中的无数应用。平均、渐进傅里叶和 FedGKT 等聚合方法突出了联邦学习的多功能性。此外,安全 MPC 模型、差分隐私和同态加密等隐私技术的加入凸显了其对保护数据的承诺。 值得注意的是,受益于联邦学习的 CV 应用范围广泛,从物体和人脸检测到医疗保健、自动驾驶和智能环境监控等创新领域。然而,与任何不断发展的技术一样,CV 中的联邦学习并非没有挑战。通信开销、设备异质性和非 IID 数据带来的难题等问题为未来的研究提供了沃土。 虽然目前的进展设定了一条有希望的轨迹,但尚未解决的问题凸显了可供探索和创新的领域。 这些挑战还强调了研究人员、从业者和行业之间合作的重要性,以使 FL 更高效、更具包容性、对 CV 更强大。 当我们站在技术进化的风口浪尖时,FL 提供了一盏希望的灯塔,将协作学习和数据隐私的精华结合在一起。未来的旅程充满了机遇和挑战,这对研究人员和爱好者来说都是一个令人振奋的时代。

VIII 参考文献


[1] Y. Himeur, K. Ghanem, A. Alsalemi, F. Bensaali, and A. Amira,
“Artificial intelligence based anomaly detection of energy consumption
in buildings: A review, current trends and new perspectives,” Applied
Energy, vol. 287, p. 116601, 2021.
[2] A. Sayed, Y. Himeur, F. Bensaali, and A. Amira, “Artificial intelligence
with iot for energy efficiency in buildings,” Emerging Real-World
Applications of Internet of Things, pp. 233–252, 2022.27
[3] D. Ng, X. Lan, M. M.-S. Yao, W. P. Chan, and M. Feng, “Federated
learning: a collaborative effort to achieve better medical imaging models
for individual sites that have small labelled datasets,” Quantitative
Imaging in Medicine and Surgery, vol. 11, no. 2, p. 852, 2021.
[4] A. Al-Kababji, F. Bensaali, S. P. Dakua, and Y. Himeur, “Automated
liver tissues delineation techniques: A systematic survey on machine
learning current trends and future orientations,” Engineering Applications of Artificial Intelligence, vol. 117, p. 105532, 2023.
[5] A. N. Sayed, Y. Himeur, and F. Bensaali, “From time-series to 2d
images for building occupancy prediction using deep transfer learning,”
Engineering Applications of Artificial Intelligence, vol. 119, p. 105786,
2023.
[6] Y. Teng, J. Zhang, and T. Sun, “Data-driven decision-making model
based on artificial intelligence in higher education system of colleges
and universities,” Expert Systems, vol. 40, no. 4, p. e12820, 2023.
[7] Y. Himeur, S. Al-Maadeed, N. Almaadeed, K. Abualsaud, A. Mohamed,
T. Khattab, and O. Elharrouss, “Deep visual social distancing monitoring to combat covid-19: A comprehensive survey,” Sustainable cities
and society, vol. 85, p. 104064, 2022.
[8] Y. Elmir, Y. Himeur, and A. Amira, “Ecg classification using deep cnn
and gramian angular field,” arXiv preprint arXiv:2308.02395, 2023.
[9] A. Chouchane, A. Ouamane, Y. Himeur, W. Mansoor, S. Atalla, A. Benzaibak, and C. Boudellal, “Improving cnn-based person re-identification
using score normalization,” arXiv preprint arXiv:2307.00397, 2023.
[10] H. Kheddar, Y. Himeur, S. Al-Maadeed, A. Amira, and F. Bensaali,
“Deep transfer learning for automatic speech recognition: Towards better
generalization,” arXiv preprint arXiv:2304.14535, 2023.
[11] Y. Himeur, S. Al-Maadeed, I. Varlamis, N. Al-Maadeed, K. Abualsaud,
and A. Mohamed, “Face mask detection in smart cities using deep
and transfer learning: lessons learned from the covid-19 pandemic,”
Systems, vol. 11, no. 2, p. 107, 2023.
[12] F. Esposito and D. Malerba, “Machine learning in computer vision,”
Applied Artificial Intelligence, vol. 15, no. 8, pp. 693–705, 2001.
[13] A. Copiaco, Y. Himeur, A. Amira, W. Mansoor, F. Fadli, S. Atalla,
and S. S. Sohail, “An innovative deep anomaly detection of building
energy consumption using energy time-series images,” Engineering
Applications of Artificial Intelligence, vol. 119, p. 105775, 2023.
[14] S. Alyamkin, M. Ardi, A. C. Berg, A. Brighton, B. Chen, Y. Chen, H.-P.
Cheng, Z. Fan, C. Feng, B. Fu et al., “Low-power computer vision:
Status, challenges, and opportunities,” IEEE Journal on Emerging and
Selected Topics in Circuits and Systems, vol. 9, no. 2, pp. 411–421,
2019.
[15] Z. Tong and G. Tanaka, “Reservoir computing with untrained convolutional neural networks for image recognition,” in 2018 24th
International Conference on Pattern Recognition (ICPR). IEEE, 2018,
pp. 1289–1294.
[16] S. Mohamed and G. Rubino, “A study of real-time packet video quality
using random neural networks,” IEEE transactions on circuits and
systems for video technology, vol. 12, no. 12, pp. 1071–1083, 2002.
[17] Y. Himeur, S. S. Sohail, F. Bensaali, A. Amira, and M. Alazab,
“Latest trends of security and privacy in recommender systems: a
comprehensive review and future perspectives,” Computers & Security,
vol. 118, p. 102746, 2022.
[18] S. Quach, P. Thaichon, K. D. Martin, S. Weaven, and R. W. Palmatier,
“Digital technologies: tensions in privacy and data,” Journal of the
Academy of Marketing Science, vol. 50, no. 6, pp. 1299–1323, 2022.
[19] Y. Himeur and K. A. Sadi, “Robust video copy detection based on ring
decomposition based binarized statistical image features and invariant
color descriptor (rbsif-icd),” Multimedia Tools and Applications, vol. 77,
pp. 17 309–17 331, 2018.
[20] D. Patrikar and M. Parate, “Anomaly detection using edge computing
in video surveillance system: review,” Int J Multimed Info Retr, vol. 11,
pp. 85–110, 2022.
[21] A. Xiang, “Being’seen’vs.’mis-seen’: Tensions between privacy and
fairness in computer vision,” Harvard Journal of Law & Technology,
Forthcoming, 2022.
[22] A. Alsalemi, Y. Himeur, F. Bensaali, and A. Amira, “An innovative
edge-based internet of energy solution for promoting energy saving in
buildings,” Sustainable Cities and Society, vol. 78, p. 103571, 2022.
[23] A. Sayed, Y. Himeur, A. Alsalemi, F. Bensaali, and A. Amira,
“Intelligent edge-based recommender system for internet of energy
applications,” IEEE Systems Journal, vol. 16, no. 3, pp. 5001–5010,
2021.
[24] Q. Yang, Y. Liu, Y. Cheng, Y. Kang, T. Chen, and H. Yu, “Federated
learning,” Synthesis Lectures on Artificial Intelligence and Machine
Learning, vol. 13, no. 3, pp. 1–207, 2019.
[25] O. Gupta and R. Raskar, “Distributed learning of deep neural network
over multiple agents,” Journal of Network and Computer Applications,
vol. 116, pp. 1–8, 2018.
[26] A. R. Khan, A. Zoha, L. Mohjazi, H. Sajid, Q. Abbasi, and M. A. Imran,
“When federated learning meets vision: An outlook on opportunities and
challenges,” in EAI International Conference on Body Area Networks.
Springer, 2021, pp. 308–319.
[27] K. Giorgas and I. Varlamis, “Online federated learning with imbalanced
class distribution,” in 24th Pan-Hellenic Conference on Informatics,
2020, pp. 91–95.
[28] S. Abuadbba, K. Kim, M. Kim, C. Thapa, S. A. Camtepe, Y. Gao,
H. Kim, and S. Nepal, “Can we use split learning on 1d cnn models
for privacy preserving training?” in Proceedings of the 15th ACM
Asia Conference on Computer and Communications Security, 2020, pp.
305–318.
[29] M. S. Jere, T. Farnan, and F. Koushanfar, “A taxonomy of attacks on
federated learning,” IEEE Security & Privacy, vol. 19, no. 2, pp. 20–28,
2020.
[30] J. Zhang, Y. Chen, and H. Li, “Privacy leakage of adversarial training
models in federated learning systems,” in Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition, 2022, pp.
108–114.
[31] Y. Himeur, A. Sayed, A. Alsalemi, F. Bensaali, A. Amira, I. Varlamis,
M. Eirinaki, C. Sardianos, and G. Dimitrakopoulos, “Blockchainbased recommender systems: Applications, challenges and future
opportunities,” Computer Science Review, vol. 43, p. 100439, 2022.
[32] Y. Lu, X. Huang, Y. Dai, S. Maharjan, and Y. Zhang, “Blockchain
and federated learning for privacy-preserved data sharing in industrial
iot,” IEEE Transactions on Industrial Informatics, vol. 16, no. 6, pp.
4177–4186, 2019.
[33] O. A. Wahab, A. Mourad, H. Otrok, and T. Taleb, “Federated
machine learning: Survey, multi-level classification, desirable criteria
and future directions in communication and networking systems,” IEEE
Communications Surveys & Tutorials, vol. 23, no. 2, pp. 1342–1397,
2021.
[34] Q. Li, Z. Wen, Z. Wu, S. Hu, N. Wang, Y. Li, X. Liu, and B. He, “A
survey on federated learning systems: vision, hype and reality for data
privacy and protection,” IEEE Transactions on Knowledge and Data
Engineering, 2021.
[35] M. Aledhari, R. Razzak, R. M. Parizi, and F. Saeed, “Federated learning:
A survey on enabling technologies, protocols, and applications,” IEEE
Access, vol. 8, pp. 140 699–140 725, 2020.
[36] D. C. Nguyen, M. Ding, P. N. Pathirana, A. Seneviratne, J. Li, and
H. V. Poor, “Federated learning for internet of things: A comprehensive
survey,” IEEE Communications Surveys & Tutorials, vol. 23, no. 3, pp.
1622–1658, 2021.
[37] S. AbdulRahman, H. Tout, H. Ould-Slimane, A. Mourad, C. Talhi,
and M. Guizani, “A survey on federated learning: The journey from
centralized to distributed on-site learning and beyond,” IEEE Internet
of Things Journal, vol. 8, no. 7, pp. 5476–5497, 2020.
[38] Y. Cheng, Y. Liu, T. Chen, and Q. Yang, “Federatfed learning for
privacy-preserving ai,” Communications of the ACM, vol. 63, no. 12,
pp. 33–36, 2020.
[39] S. Yang, B. Ren, X. Zhou, and L. Liu, “Parallel distributed logistic regression for vertical federated learning without third-party coordinator,”
arXiv preprint arXiv:1911.09824, 2019.
[40] S. Sharma, C. Xing, Y. Liu, and Y. Kang, “Secure and efficient federated
transfer learning,” in 2019 IEEE International Conference on Big Data
(Big Data). IEEE, 2019, pp. 2569–2576.
[41] G. Bjelobaba, A. Savic, T. To ´ siˇ c, I. Stefanovi ´ c, and B. Koci ´ c,´
“Collaborative learning supported by blockchain technology as a model
for improving the educational process,” Sustainability, vol. 15, no. 6,
p. 4780, 2023.
[42] Y. Liu, X. Zhang, Y. Kang, L. Li, T. Chen, M. Hong, and Q. Yang,
“Fedbcd: A communication-efficient collaborative learning framework
for distributed features,” IEEE Transactions on Signal Processing,
vol. 70, pp. 4277–4290, 2022.
[43] E. Gabrielli, G. Pica, and G. Tolomei, “A survey on decentralized
federated learning,” arXiv preprint arXiv:2308.04604, 2023.
[44] J. Konecnˇ y, H. B. McMahan, D. Ramage, and P. Richt ` arik, “Federated ´
optimization: Distributed machine learning for on-device intelligence,”
arXiv preprint arXiv:1610.02527, 2016.
[45] V. Smith, C.-K. Chiang, M. Sanjabi, and A. S. Talwalkar, “Federated
multi-task learning,” Advances in neural information processing systems,
vol. 30, 2017.
[46] A. Linardos, K. Kushibar, S. Walsh, P. Gkontra, and K. Lekadir,
“Federated learning for multi-center imaging diagnostics: A study in
cardiovascular disease,” arXiv preprint arXiv:2107.03901, 2021.
[47] Z. Chen, M. Zhu, C. Yang, and Y. Yuan, “Personalized retrogressresilient framework for real-world medical federated learning,” in
International Conference on Medical Image Computing and ComputerAssisted Intervention. Springer, 2021, pp. 347–356.

[48] K. Doshi and Y. Yilmaz, “Federated learning-based driver activity
recognition for edge devices,” in Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition, 2022, pp.
3338–3346.
[49] H. Zhu, “On the relationship between (secure) multi-party computation
and (secure) federated learning,” arXiv preprint arXiv:2008.02609,
2020.
[50] D. Byrd and A. Polychroniadou, “Differentially private secure multiparty computation for federated learning in financial applications,”
in Proceedings of the First ACM International Conference on AI in
Finance, 2020, pp. 1–9.
[51] R. Kanagavelu, Z. Li, J. Samsudin, Y. Yang, F. Yang, R. S. M. Goh,
M. Cheah, P. Wiwatphonthana, K. Akkarajitsakul, and S. Wang, “Twophase multi-party computation enabled privacy-preserving federated
learning,” in 2020 20th IEEE/ACM International Symposium on Cluster,
Cloud and Internet Computing (CCGRID). IEEE, 2020, pp. 410–419.
[52] A. Triastcyn and B. Faltings, “Federated learning with bayesian
differential privacy,” in 2019 IEEE International Conference on Big
Data (Big Data). IEEE, 2019, pp. 2587–2596.
[53] X. Wu, Y. Zhang, M. Shi, P. Li, R. Li, and N. N. Xiong, “An adaptive
federated learning scheme with differential privacy preserving,” Future
Generation Computer Systems, vol. 127, pp. 362–372, 2022.
[54] U. Shah, I. Dave, J. Malde, J. Mehta, and S. Kodeboyina, “Maintaining
privacy in medical imaging with federated learning, deep learning,
differential privacy, and encrypted computation,” in 2021 6th International Conference for Convergence in Technology (I2CT). IEEE,
2021, pp. 1–6.
[55] M. Adnan, S. Kalra, J. C. Cresswell, G. W. Taylor, and H. R. Tizhoosh,
“Federated learning and differential privacy for medical image analysis,”
Scientific reports, vol. 12, no. 1, pp. 1–10, 2022.
[56] O. Choudhury, A. Gkoulalas-Divanis, T. Salonidis, I. Sylla, Y. Park,
G. Hsu, and A. Das, “Differential privacy-enabled federated learning
for sensitive health data,” arXiv preprint arXiv:1910.02578, 2019.
[57] A. Ziller, D. Usynin, R. Braren, M. Makowski, D. Rueckert, and
G. Kaissis, “Medical imaging deep learning with differential privacy,”
Scientific Reports, vol. 11, no. 1, pp. 1–8, 2021.
[58] L. Zhang, J. Xu, P. Vijayakumar, P. K. Sharma, and U. Ghosh,
“Homomorphic encryption-based privacy-preserving federated learning
in iot-enabled healthcare system,” IEEE Transactions on Network
Science and Engineering, pp. 1–17, 2022.
[59] D. Stripelis, H. Saleem, T. Ghai, N. Dhinagar, U. Gupta, C. Anastasiou,
G. Ver Steeg, S. Ravi, M. Naveed, P. M. Thompson et al., “Secure
neuroimaging analysis using federated learning with homomorphic
encryption,” in 17th International Symposium on Medical Information
Processing and Analysis, vol. 12088. SPIE, 2021, pp. 351–359.
[60] R. Kumar, J. Kumar, A. A. Khan, H. Ali, C. M. Bernard, R. U. Khan,
S. Zeng et al., “Blockchain and homomorphic encryption based privacypreserving model aggregation for medical images,” Computerized
Medical Imaging and Graphics, vol. 102, p. 102139, 2022.
[61] T. S. Brisimi, R. Chen, T. Mela, A. Olshevsky, I. C. Paschalidis,
and W. Shi, “Federated learning of predictive models from federated
electronic health records,” International journal of medical informatics,
vol. 112, pp. 59–67, 2018.
[62] Y. Zhao, H. Liu, H. Li, P. Barnaghi, and H. Haddadi, “Semisupervised federated learning for activity recognition,” arXiv preprint
arXiv:2011.00851, 2020.
[63] A. Grammenos, R. Mendoza Smith, J. Crowcroft, and C. Mascolo, “Federated principal component analysis,” Advances in Neural Information
Processing Systems, vol. 33, pp. 6453–6464, 2020.
[64] H. H. Kumar, V. Karthik, and M. K. Nair, “Federated k-means clustering:
A novel edge ai based approach for privacy preservation,” in 2020 IEEE
International Conference on Cloud Computing in Emerging Markets
(CCEM). IEEE, 2020, pp. 52–56.
[65] H. Kassem, D. Alapatt, P. Mascagni, C. AI4SafeChole, A. Karargyris,
and N. Padoy, “Federated cycling (fedcy): Semi-supervised federated
learning of surgical phases,” IEEE Transactions on Medical Imaging,
pp. 1–1, 2022.
[66] Y. Rehman, Y. Gao, J. Shen, P. de Gusmao, and N. Lane, “Federated ˜
self-supervised learning for video understanding,” Lecture Notes in
Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics), vol. 13691 LNCS,
pp. 506–522, 2022, cited By 0.
[67] I. Dave, C. Chen, and M. Shah, “Spact: Self-supervised privacy
preservation for action recognition,” in Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition, vol. 2022-
June. IEEE Computer Society, 2022, pp. 20 132–20 141, cited By
3.
[68] S. Li, Y. Mao, J. Li, Y. Xu, J. Li, X. Chen, S. Liu, and X. Zhao,
“Fedutn: federated self-supervised learning with updating target network,”
Applied Intelligence, 2022, cited By 0.
[69] D. Shome and T. Kar, “Fedaffect: Few-shot federated learning for facial
expression recognition,” in Proceedings of the IEEE/CVF International
Conference on Computer Vision, 2021, pp. 4168–4175.
[70] H. Kheddar, M. Hemis, Y. Himeur, D. Meg´ıas, and A. Amira, “Deep
learning for diverse data types steganalysis: A review,” arXiv preprint
arXiv:2308.04522, 2023.
[71] W. Ji, J. Li, M. Zhang, Y. Piao, and H. Lu, “Accurate rgb-d salient
object detection via collaborative learning,” in Computer Vision–ECCV
2020: 16th European Conference, Glasgow, UK, August 23–28, 2020,
Proceedings, Part XVIII 16. Springer, 2020, pp. 52–69.
[72] Q. Fan, D.-P. Fan, H. Fu, C.-K. Tang, L. Shao, and Y.-W. Tai, “Group
collaborative learning for co-salient object detection,” in Proceedings of
the IEEE/CVF Conference on Computer Vision and Pattern Recognition,
2021, pp. 12 288–12 298.
[73] S. Teeparthi, V. Jatla, M. S. Pattichis, S. Celedon-Pattichis, and ´
C. LopezLeiva, “Fast hand detection in collaborative learning environ- ´
ments,” in International Conference on Computer Analysis of Images
and Patterns. Springer, 2021, pp. 445–454.
[74] S. Teeparthi, “Long term object detection and tracking in collaborative
learning environments,” arXiv preprint arXiv:2106.07556, 2021.
[75] C. Huang and R. Nevatia, “High performance object detection by
collaborative learning of joint ranking of granules features,” in 2010
IEEE Computer Society Conference on Computer Vision and Pattern
Recognition. IEEE, 2010, pp. 41–48.
[76] X. Fang, Z. Kuang, R. Zhang, X. Shao, and H. Wang, “Collaborative
learning in bounding box regression for object detection,” Pattern
Recognition Letters, 2021.
[77] Y. Zhou, X. He, L. Huang, L. Liu, F. Zhu, S. Cui, and L. Shao, “Collaborative learning of semi-supervised segmentation and classification
for medical images,” in Proceedings of the IEEE/CVF Conference on
Computer Vision and Pattern Recognition, 2019, pp. 2079–2088.
[78] J. Wang, J. Yao, Y. Zhang, and R. Zhang, “Collaborative learning for
weakly supervised object detection,” arXiv preprint arXiv:1802.03531,
2018.
[79] D. Zhang, J. Han, L. Zhao, and D. Meng, “Leveraging prior-knowledge
for weakly supervised object detection under a collaborative self-paced
curriculum learning framework,” International Journal of Computer
Vision, vol. 127, no. 4, pp. 363–380, 2019.
[80] S. Chen, D. Shao, X. Shu, C. Zhang, and J. Wang, “FCC-Net: A fullcoverage collaborative network for weakly supervised remote sensing
object detection,” Electronics, vol. 9, no. 9, p. 1356, 2020.
[81] Y. Liang, G. Qin, M. Sun, J. Qin, J. Yan, and Z. Zhang, “Semantic
and detail collaborative learning network for salient object detection,”
Neurocomputing, vol. 462, pp. 478–490, 2021.
[82] J. Seo and H. Park, “Object recognition in very low resolution images
using deep collaborative learning,” IEEE Access, vol. 7, pp. 134 071–
134 082, 2019.
[83] Q. Guo, X. Wang, Y. Wu, Z. Yu, D. Liang, X. Hu, and P. Luo, “Online
knowledge distillation via collaborative learning,” in Proceedings of the
IEEE/CVF Conference on Computer Vision and Pattern Recognition,
2020, pp. 11 020–11 029.
[84] P. Yu and Y. Liu, “Federated object detection: Optimizing object
detection model with federated learning,” in Proceedings of the 3rd
International Conference on Vision, Image and Signal Processing, 2019,
pp. 1–6.
[85] H. Choi and I. V. Bajic, “Deep feature compression for collaborative ´
object detection,” in 2018 25th IEEE International Conference on
Image Processing (ICIP). IEEE, 2018, pp. 3743–3747.
[86] P. Vepakomma, O. Gupta, T. Swedish, and R. Raskar, “Split learning
for health: Distributed deep learning without sharing raw patient data,”
arXiv preprint arXiv:1812.00564, 2018.
[87] Y. He, Y. Kang, J. Luo, L. Fan, and Q. Yang, “A hybrid self-supervised
learning framework for vertical federated learning,” arXiv preprint
arXiv:2208.08934, 2022.
[88] W. Zhuang, Y. Wen, and S. Zhang, “Divergence-aware federated selfsupervised learning,” arXiv preprint arXiv:2204.04385, 2022.
[89] A. Saeed, F. D. Salim, T. Ozcelebi, and J. Lukkien, “Federated
self-supervised learning of multisensor representations for embedded
intelligence,” IEEE Internet of Things Journal, vol. 8, no. 2, pp. 1030–
1040, 2020.
[90] R. Yan, L. Qu, Q. Wei, S.-C. Huang, L. Shen, D. Rubin, L. Xing, and
Y. Zhou, “Label-efficient self-supervised federated learning for tackling
data heterogeneity in medical imaging,” IEEE Transactions on Medical
Imaging, 2023.
[91] R. Zhu, K. Yin, H. Xiong, H. Tang, and G. Yin, “Masked face detection
algorithm in the dense crowd based on federated learning,” Wireless
Communications and Mobile Computing, vol. 2021, 2021.
[92] Y. Himeur, S. Al-Maadeed, H. Kheddar, N. Al-Maadeed, K. Abualsaud,
A. Mohamed, and T. Khattab, “Video surveillance using deep transfer
learning and deep domain adaptation: Towards better generalization,”

Engineering Applications of Artificial Intelligence, vol. 119, p. 105698,
2023.
[93] A. B. Sada, M. A. Bouras, J. Ma, H. Runhe, and H. Ning, “A distributed
video analytics architecture based on edge-computing and federated
learning,” in 2019 IEEE Intl Conf on Dependable, Autonomic and
Secure Computing, Intl Conf on Pervasive Intelligence and Computing,
Intl Conf on Cloud and Big Data Computing, Intl Conf on Cyber Science and Technology Congress (DASC/PiCom/CBDCom/CyberSciTech).
IEEE, 2019, pp. 215–220.
[94] F. Concone, C. Ferdico, G. L. Re, and M. Morana, “A federated learning
approach for distributed human activity recognition,” in 2022 IEEE
International Conference on Smart Computing (SMARTCOMP). IEEE,
2022, pp. 269–274.
[95] Y. Liu, J. Nie, X. Li, S. H. Ahmed, W. Y. B. Lim, and C. Miao,
“Federated learning in the sky: Aerial-ground air quality sensing
framework with uav swarms,” IEEE Internet of Things Journal, 2020.
[96] Y. Liu, A. Huang, Y. Luo, H. Huang, Y. Liu, Y. Chen, L. Feng, T. Chen,
H. Yu, and Q. Yang, “Fedvision: An online visual object detection
platform powered by federated learning,” in Proceedings of the AAAI
Conference on Artificial Intelligence, vol. 34, 2020, pp. 13 172–13 179.
[97] A. Catalfamo, A. Celesti, M. Fazio, G. Randazzo, and M. Villari, “A
platform for federated learning on the edge: a video analysis use case,”
in 2022 IEEE Symposium on Computers and Communications (ISCC),
2022, pp. 1–7.
[98] P. Jain, S. Goenka, S. Bagchi, B. Banerjee, and S. Chaterji, “Federated
action recognition on heterogeneous embedded devices,” arXiv preprint
arXiv:2107.12147, 2021.
[99] B. Zhang, J. Wang, J. Fu, and J. Xia, “Driver action recognition
using federated learning,” in 2021 the 7th International Conference on
Communication and Information Processing (ICCIP), 2021, pp. 74–77.
[100] Z. Shi, L. Zhang, Y. Liu, X. Cao, Y. Ye, M.-M. Cheng, and
G. Zheng, “Crowd counting with deep negative correlation learning,”
in Proceedings of the IEEE conference on computer vision and pattern
recognition, 2018, pp. 5382–5390.
[101] A. Zhang, J. Shen, Z. Xiao, F. Zhu, X. Zhen, X. Cao, and L. Shao,
“Relational attention network for crowd counting,” in Proceedings of
the IEEE/CVF international conference on computer vision, 2019, pp.
6788–6797.
[102] Y. Jiang, R. Cong, C. Shu, A. Yang, Z. Zhao, and G. Min, “Federated
learning based mobile crowd sensing with unreliable user data,” in 2020
IEEE 22nd International Conference on High Performance Computing
and Communications; IEEE 18th International Conference on Smart
City; IEEE 6th International Conference on Data Science and Systems
(HPCC/SmartCity/DSS). IEEE, 2020, pp. 320–327.
[103] X. Bao, C. Su, Y. Xiong, W. Huang, and Y. Hu, “Flchain: A blockchain
for auditable federated learning with trust and incentive,” in 2019 5th
International Conference on Big Data Computing and Communications
(BIGCOM). IEEE, 2019, pp. 151–159.
[104] B. R. Kiran, D. M. Thomas, and R. Parakkal, “An overview of deep
learning based methods for unsupervised and semi-supervised anomaly
detection in videos,” Journal of Imaging, vol. 4, no. 2, p. 36, 2018.
[105] S. Singh, S. Bhardwaj, H. Pandey, and G. Beniwal, “Anomaly detection
using federated learning,” in Proceedings of International Conference
on Artificial Intelligence and Applications. Springer, 2021, pp. 141–
148.
[106] S. Bharti, A. McGibney, and T. O’Gorman, “Edge-enabled federated
learning for vision based product quality inspection,” in 2022 33rd
Irish Signals and Systems Conference (ISSC). IEEE, 2022, pp. 1–6.
[107] A. Esteva, K. Chou, S. Yeung, N. Naik, A. Madani, A. Mottaghi, Y. Liu,
E. Topol, J. Dean, and R. Socher, “Deep learning-enabled medical
computer vision,” NPJ digital medicine, vol. 4, no. 1, pp. 1–9, 2021.
[108] M. J. Sheller, G. A. Reina, B. Edwards, J. Martin, and S. Bakas,
“Multi-institutional deep learning modeling without sharing patient data:
A feasibility study on brain tumor segmentation,” in International
MICCAI Brainlesion Workshop. Springer, 2018, pp. 92–104.
[109] X. Li, Y. Gu, N. Dvornek, L. H. Staib, P. Ventola, and J. S. Duncan,
“Multi-site fmri analysis using privacy-preserving federated learning
and domain adaptation: Abide results,” Medical Image Analysis, vol. 65,
p. 101765, 2020.
[110] I. Dayan, H. R. Roth, A. Zhong, A. Harouni, A. Gentili, A. Z. Abidin,
A. Liu, A. B. Costa, B. J. Wood, C.-S. Tsai et al., “Federated learning
for predicting clinical outcomes in patients with covid-19,” Nature
medicine, vol. 27, no. 10, pp. 1735–1743, 2021.
[111] I. Feki, S. Ammar, Y. Kessentini, and K. Muhammad, “Federated
learning for covid-19 screening from chest x-ray images,” Applied Soft
Computing, vol. 106, p. 107330, 2021.
[112] A. E. Cetinkaya, M. Akin, and S. Sagiroglu, “A communication efficient
federated learning approach to multi chest diseases classification,”
in 2021 6th International Conference on Computer Science and
Engineering (UBMK). IEEE, 2021, pp. 429–434.
[113] B. Yan, B. Liu, L. Wang, Y. Zhou, Z. Liang, M. Liu, and C.-Z. Xu,
“Fedcm: A real-time contribution measurement method for participants
in federated learning,” in 2021 International Joint Conference on Neural
Networks (IJCNN). IEEE, 2021, pp. 1–8.
[114] H. R. Roth, K. Chang, P. Singh, N. Neumark, W. Li, V. Gupta,
S. Gupta, L. Qu, A. Ihsani, B. C. Bizzo et al., “Federated learning
for breast density classification: A real-world implementation,” in
Domain Adaptation and Representation Transfer, and Distributed and
Collaborative Learning. Springer, 2020, pp. 181–191.
[115] Z. Yan, J. Wicaksana, Z. Wang, X. Yang, and K.-T. Cheng, “Variationaware federated learning with multi-source decentralized medical image
data,” IEEE Journal of Biomedical and Health Informatics, 2020.
[116] S. Silva, B. A. Gutman, E. Romero, P. M. Thompson, A. Altmann,
and M. Lorenzi, “Federated learning in distributed medical databases:
Meta-analysis of large-scale subcortical brain data,” in 2019 IEEE 16th
international symposium on biomedical imaging (ISBI 2019). IEEE,
2019, pp. 270–274.
[117] M. J. Sheller, B. Edwards, G. A. Reina, J. Martin, S. Pati, A. Kotrotsou,
M. Milchenko, W. Xu, D. Marcus, R. R. Colen et al., “Federated
learning in medicine: facilitating multi-institutional collaborations
without sharing patient data,” Scientific reports, vol. 10, no. 1, pp.
1–12, 2020.
[118] P. Guo, P. Wang, J. Zhou, S. Jiang, and V. M. Patel, “Multi-institutional
collaborations for improving deep learning-based magnetic resonance
image reconstruction using federated learning,” in Proceedings of the
IEEE/CVF Conference on Computer Vision and Pattern Recognition,
2021, pp. 2423–2432.
[119] M. Y. Lu, R. J. Chen, D. Kong, J. Lipkova, R. Singh, D. F. Williamson,
T. Y. Chen, and F. Mahmood, “Federated learning for computational
pathology on gigapixel whole slide images,” Medical image analysis,
vol. 76, p. 102298, 2022.
[120] W. Li, F. Milletar`ı, D. Xu, N. Rieke, J. Hancox, W. Zhu, M. Baust,
Y. Cheng, S. Ourselin, M. J. Cardoso et al., “Privacy-preserving
federated brain tumour segmentation,” in International workshop on
machine learning in medical imaging. Springer, 2019, pp. 133–141.
[121] C. I. Bercea, B. Wiestler, D. Rueckert, and S. Albarqouni, “Feddis:
Disentangled federated learning for unsupervised brain pathology
segmentation,” arXiv preprint arXiv:2103.03705, 2021.
[122] A. E. Cetinkaya, M. Akin, and S. Sagiroglu, “Improving performance
of federated learning based medical image analysis in non-iid settings
using image augmentation,” in 2021 International Conference on
Information Security and Cryptology (ISCTURKEY). IEEE, 2021, pp.
69–74.
[123] B. Han, R. Jhaveri, H. Wang, D. Qiao, and J. Du, “Application of robust
zero-watermarking scheme based on federated learning for securing the
healthcare data,” IEEE Journal of Biomedical and Health Informatics,
2021.
[124] B. G. Tekgul, Y. Xia, S. Marchal, and N. Asokan, “Waffle: Watermarking in federated learning,” in 2021 40th International Symposium on
Reliable Distributed Systems (SRDS). IEEE, 2021, pp. 310–320.
[125] X. Liu, S. Shao, Y. Yang, K. Wu, W. Yang, and H. Fang, “Secure
federated learning model verification: A client-side backdoor triggered
watermarking scheme,” in 2021 IEEE International Conference on
Systems, Man, and Cybernetics (SMC). IEEE, 2021, pp. 2414–2419.
[126] D. Połap, G. Srivastava, and K. Yu, “Agent architecture of an intelligent
medical system based on federated learning and blockchain technology,”
Journal of Information Security and Applications, vol. 58, p. 102748,
2021.
[127] A. Ziller, D. Usynin, N. Remerscheid, M. Knolle, M. Makowski,
R. Braren, D. Rueckert, and G. Kaissis, “Differentially private federated
deep learning for multi-site medical image segmentation,” arXiv
preprint arXiv:2107.02586, 2021.
[128] K. Guo, N. Li, J. Kang, and J. Zhang, “Towards efficient federated
learning-based scheme in medical cyber-physical systems for distributed
data,” Software: Practice and Experience, vol. 51, no. 11, pp. 2274–
2289, 2021.
[129] M. Jiang, Z. Wang, and Q. Dou, “Harmofl: Harmonizing local and
global drifts in federated learning on heterogeneous medical images,”
arXiv preprint arXiv:2112.10775, 2021.
[130] Q. Liu, C. Chen, J. Qin, Q. Dou, and P.-A. Heng, “Feddg: Federated
domain generalization on medical image segmentation via episodic
learning in continuous frequency space,” in Proceedings of the
IEEE/CVF Conference on Computer Vision and Pattern Recognition,
2021, pp. 1013–1023.
[131] B. Sun, H. Huo, Y. Yang, and B. Bai, “Partialfed: Cross-domain
personalized federated learning via partial initialization,” Advances in
Neural Information Processing Systems, vol. 34, 2021.
[132] H.-P. Wang, S. U. Stich, Y. He, and M. Fritz, “Progfed: Effective, communication, and computation efficient federated learning by progressive
training,” arXiv preprint arXiv:2110.05323, 2021.

[133] J. Luo and S. Wu, “Fedsld: Federated learning with shared label distribution for medical image classification,” arXiv preprint arXiv:2110.08378,
2021.
[134] G. Litjens, O. Debats, J. Barentsz, N. Karssemeijer, and H. Huisman,
“Computer-aided detection of prostate cancer in mri,” IEEE transactions
on medical imaging, vol. 33, no. 5, pp. 1083–1092, 2014.
[135] H. Zhang, J. Bosch, and H. H. Olsson, “End-to-end federated learning
for autonomous driving vehicles,” in 2021 International Joint Conference on Neural Networks (IJCNN). IEEE, 2021, pp. 1–8.
[136] A. Nguyen, T. Do, M. Tran, B. X. Nguyen, C. Duong, T. Phan,
E. Tjiputra, and Q. D. Tran, “Deep federated learning for autonomous
driving,” in 2022 IEEE Intelligent Vehicles Symposium (IV). IEEE,
2022, pp. 1824–1830.
[137] X. Zhou, W. Liang, J. She, Z. Yan, I. Kevin, and K. Wang, “Twolayer federated learning with heterogeneous model aggregation for
6g supported internet of vehicles,” IEEE Transactions on Vehicular
Technology, vol. 70, no. 6, pp. 5308–5317, 2021.
[138] L. U. Khan, Y. K. Tun, M. Alsenwi, M. Imran, Z. Han, and C. S. Hong,
“A dispersed federated learning framework for 6g-enabled autonomous
driving cars,” IEEE Transactions on Network Science and Engineering,
2022.
[139] Y. Li, X. Tao, X. Zhang, J. Liu, and J. Xu, “Privacy-preserved federated
learning for autonomous driving,” IEEE Transactions on Intelligent
Transportation Systems, vol. 23, no. 7, pp. 8423–8434, 2021.
[140] I. Donevski, J. J. Nielsen, and P. Popovski, “On addressing heterogeneity
in federated learning for autonomous vehicles connected to a drone
orchestrator,” Frontiers in Communications and Networks, vol. 2, p.
709946, 2021.
[141] A. M. Elbir, B. Soner, S. C¸ oleri, D. G ¨ und ¨ uz, and M. Bennis, “Federated ¨
learning in vehicular networks,” in 2022 IEEE International Mediterranean Conference on Communications and Networking (MeditCom).
IEEE, 2022, pp. 72–77.
[142] D. Jallepalli, N. C. Ravikumar, P. V. Badarinath, S. Uchil, and M. A.
Suresh, “Federated learning for object detection in autonomous vehicles,”
in 2021 IEEE Seventh International Conference on Big Data Computing
Service and Applications (BigDataService). IEEE, 2021, pp. 107–114.
[143] K. Xie, Z. Zhang, B. Li, J. Kang, D. Niyato, S. Xie, and Y. Wu,
“Efficient federated learning with spike neural networks for traffic sign
recognition,” IEEE Transactions on Vehicular Technology, vol. 71,
no. 9, pp. 9980–9992, 2022.
[144] F. Sattler, S. Wiedemann, K.-R. Muller, and W. Samek, “Robust and ¨
communication-efficient federated learning from non-iid data,” IEEE
transactions on neural networks and learning systems, vol. 31, no. 9,
pp. 3400–3413, 2019.
[145] F. Haddadpour, M. M. Kamani, A. Mokhtari, and M. Mahdavi,
“Federated learning with compression: Unified analysis and sharp
guarantees,” in International Conference on Artificial Intelligence and
Statistics. PMLR, 2021, pp. 2350–2358.
[146] W. Luping, W. Wei, and L. Bo, “Cmfl: Mitigating communication
overhead for federated learning,” in 2019 IEEE 39th international
conference on distributed computing systems (ICDCS). IEEE, 2019,
pp. 954–964.
[147] I. Varlamis, C. Sardianos, C. Chronis, G. Dimitrakopoulos, Y. Himeur,
A. Alsalemi, F. Bensaali, and A. Amira, “Using big data and
federated learning for generating energy efficiency recommendations,”
International Journal of Data Science and Analytics, pp. 1–17, 2022.
[148] M. Tang, X. Ning, Y. Wang, J. Sun, Y. Wang, H. Li, and Y. Chen,
“Fedcor: Correlation-based active client selection strategy for heterogeneous federated learning,” in 2022 IEEE/CVF Conference on Computer
Vision and Pattern Recognition (CVPR), 2022, pp. 10 092–10 101.
[149] L. Qu, Y. Zhou, P. P. Liang, Y. Xia, F. Wang, E. Adeli, L. FeiFei, and D. Rubin, “Rethinking architecture design for tackling data
heterogeneity in federated learning,” in Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition, 2022, pp.
10 061–10 071.
[150] M. Mendieta, T. Yang, P. Wang, M. Lee, Z. Ding, and C. Chen, “Local
learning matters: Rethinking data heterogeneity in federated learning,”
in Proceedings of the IEEE/CVF Conference on Computer Vision and
Pattern Recognition, 2022, pp. 8397–8406.
[151] H. Bousbiat, R. Bousselidj, Y. Himeur, A. Amira, F. Bensaali, F. Fadli,
W. Mansoor, and W. Elmenreich, “Crossing roads of federated learning
and smart grids: Overview, challenges, and perspectives,” arXiv preprint
arXiv:2304.08602, 2023.
[152] M. Dom´ınguez-Morales, J. P. Dom´ınguez-Morales, ´A. Jimenez- ´
Fernandez, A. Linares-Barranco, and G. Jim ´ enez-Moreno, “Stereo ´
matching in address-event-representation (aer) bio-inspired binocular
systems in a field-programmable gate array (fpga),” Electronics, vol. 8,
no. 4, p. 410, 2019.
[153] O. Azzouzi, M. Anane, M. Koudil, M. Issad, and Y. Himeur, “Novel
area-efficient and flexible architectures for optimal ate pairing on fpga,”
arXiv preprint arXiv:2308.04261, 2023.
[154] D. Li and J. Wang, “Fedmd: Heterogenous federated learning via model
distillation,” arXiv preprint arXiv:1910.03581, 2019.
[155] J. Pang, Y. Huang, Z. Xie, Q. Han, and Z. Cai, “Realizing the
heterogeneity: A self-organized federated learning framework for iot,”
IEEE Internet of Things Journal, vol. 8, no. 5, pp. 3088–3098, 2020.
[156] A. Alsalemi, Y. Himeur, F. Bensaali, and A. Amira, “Smart sensing and
end-users’ behavioral change in residential buildings: An edge-based
internet of energy perspective,” IEEE Sensors Journal, vol. 21, no. 24,
pp. 27 623–27 631, 2021.
[157] H. Zhu, J. Xu, S. Liu, and Y. Jin, “Federated learning on non-iid data:
A survey,” Neurocomputing, vol. 465, pp. 371–390, 2021.
[158] H. Wang, Z. Kaplan, D. Niu, and B. Li, “Optimizing federated learning
on non-iid data with reinforcement learning,” in IEEE INFOCOM
2020-IEEE Conference on Computer Communications. IEEE, 2020,
pp. 1698–1707.
[159] C. Briggs, Z. Fan, and P. Andras, “Federated learning with hierarchical
clustering of local updates to improve training on non-iid data,” in 2020
International Joint Conference on Neural Networks (IJCNN). IEEE,
2020, pp. 1–9.
[160] H. Bousbiat, Y. Himeur, I. Varlamis, F. Bensaali, and A. Amira, “Neural
load disaggregation: Meta-analysis, federated learning and beyond,”
Energies, vol. 16, no. 2, p. 991, 2023.
[161] S. Pouriyeh, O. Shahid, R. M. Parizi, Q. Z. Sheng, G. Srivastava,
L. Zhao, and M. Nasajpour, “Secure smart communication efficiency
in federated learning: Achievements and challenges,” Applied Sciences,
vol. 12, no. 18, p. 8980, 2022.
[162] L. Lyu, H. Yu, X. Ma, L. Sun, J. Zhao, Q. Yang, and P. S. Yu, “Privacy
and robustness in federated learning: Attacks and defenses,” arXiv
preprint arXiv:2012.06337, 2020.
[163] S. Shen, S. Tople, and P. Saxena, “Auror: Defending against poisoning
attacks in collaborative deep learning systems,” in Proceedings of the
32nd Annual Conference on Computer Security Applications, 2016, pp.
508–519.
[164] S. Andreina, G. A. Marson, H. Mollering, and G. Karame, “Baffle: ¨
Backdoor detection via feedback-based federated learning,” in 2021
IEEE 41st International Conference on Distributed Computing Systems
(ICDCS). IEEE, 2021, pp. 852–863.
[165] Y. Qi, M. S. Hossain, J. Nie, and X. Li, “Privacy-preserving blockchainbased federated learning for traffic flow prediction,” Future Generation
Computer Systems, vol. 117, pp. 328–337, 2021.
[166] C. He, A. D. Shah, Z. Tang, D. F. N. Sivashunmugam, K. Bhogaraju,
M. Shimpi, L. Shen, X. Chu, M. Soltanolkotabi, and S. Avestimehr,
“Fedcv: a federated learning framework for diverse computer vision
tasks,” arXiv preprint arXiv:2111.11066, 2021.
[167] J. Luo, X. Wu, Y. Luo, A. Huang, Y. Huang, Y. Liu, and Q. Yang,
“Real-world image datasets for federated learning,” arXiv preprint
arXiv:1910.11089, 2019.
[168] S. S. Sohail, F. Farhat, Y. Himeur, M. Nadeem, D. Ø. Madsen, Y. Singh,
S. Atalla, and W. Mansoor, “Decoding chatgpt: A taxonomy of existing
research, current challenges, and possible future directions,” Journal of
King Saud University-Computer and Information Sciences, p. 101675,
2023.
[169] F. Farhat, E. S. Silva, H. Hassani, D. Ø. Madsen, S. S. Sohail, Y. Himeur,
M. A. Alam, and A. Zafar, “Analyzing the scholarly footprint of chatgpt:
mapping the progress and identifying future trends,” 2023.
[170] S. S. Sohail, F. Farhat, Y. Himeur, M. Nadeem, D. Ø. Madsen, Y. Singh,
S. Atalla, and W. Mansoor, “The future of gpt: A taxonomy of existing
chatgpt research, current challenges, and possible future directions,”
Current Challenges, and Possible Future Directions (April 8, 2023),
2023.
[171] S. S. Sohail, D. Ø. Madsen, Y. Himeur, and M. Ashraf, “Using chatgpt
to navigate ambivalent and contradictory research findings on artificial
intelligence,” Available at SSRN 4413913, 2023

  • 15
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值