Multimodal Federated Learning

作者: Yuchen Zhao,Payam Barnaghi,Hamed Haddadi
机构: Imperial College London

1. What does literature study?

  1. 在本文中,我们提出了一个多模态半监督联邦学习框架,该框架训练自动编码器从客户端不同的本地数据模式中提取共享或相关表示。此外,我们还提出了一种多模态FedAvg算法来聚合在不同数据模式下训练的本地自动编码器。

2. What’s the innovation?

  1. Past shortcomings
    a. 现有的联邦学习系统只处理来自单一模式的本地数据,这限制了系统的可伸缩性。
    b.现有的FL系统使用数据融合需要系统中的所有数据(训练和测试)都是对齐的多模态数据,不适用于单模态客户端。
    c.现有的系统需要客户端向服务器端发送数据表示(可以用来恢复本地数据)会打破FL的隐私保证。
    d.现有的研究忽略了FL中数据模型的异质性。

  2. innovation:
    a.提出多模态联邦学习框架,处理来自不同模态和单模态的数据。
    b.将更多模态数据引入联邦学习可以提高分类准确性。
    c.服务器上,只使用一种模态的标记数据进行训练,将学习到的模型来测试其他模态的数据,可以获得不错的准确性。
    d.将单模态和多模态客户端的贡献结合进一步提高了分类的准确性。

3. What was the methodology?

利用本地数据中对齐信息来学习从多个模态中提取共享或关联的隐藏表示,不需要将本地数据的表示发送给服务器。
对于多模态客户端,我们假设来自两种模态的数据之间存在对齐信息,基于这些信息我们可以对齐两种模态的隐藏表示。
在这里插入图片描述

  1. 提取表示
    a. 自动编码器。
    b. 拆分自动编码器SplitAE。
    c.深度正则相关自动编码器DCCAE。

  2. 多模态联邦平均
    在这里插入图片描述
    训练过程:多模态客户端更新两种模式的编码器和解码器,单模态客户端利用标准autoencoder训练。
    在这里插入图片描述
    多模态FedAvg算法用来聚合从单模态客户端和多模态客户端收到的自动编码器。
    聚合过程中,多模态客户端的贡献由权重参数 α \alpha α控制。

4. What are the conclusions?

在这里插入图片描述

5. others

  1. 我们使用学习到的全局自动编码器进行下游分类任务。
  2. 本文框架不要求客户端和服务器对齐所有模态的数据,而是对多模态和单模态客户端进行本地训练,只需要服务器上的单模态标记数据。
  3. 不同的客户端在计算能力、模型结构、数据分布或特征分布有所不同。
  4. 《Ensemble Distillation for Robust Model Fusion in Federated Learning》使用知识蒸馏根据本地模型的概率分布来训练FL的全局模型而不是直接平均其参数。
  5. 在客户端,从未标记的数据中提取隐藏表示。
  6. 《On Deep Multi-View Representation Learning》提出深度正则相关自动编码器(DCCAE)
  7. 全局多模态自动编码器 w t a g w_t^{a_g} wtag在第 t t t轮次表示为 ( f A , g A , f B , g B ) t (f_A,g_A,f_B,g_B)_t (fA,gA,fB,gB)t ( f A , g A ) t (f_A,g_A)_t (fA,gA)t为模态 A A A的编码器和解码器。客户端 k k k的本地多模态自动编码器为 w t a k w_t^{a_k} wtak,客户端的模态 m k m_k mk A , B , A B A,B,AB A,B,AB其中的一个。
  8. 服务器上标记的训练集是从训练集中随机抽样的,其大小与客户端本地数据的大小相同。
  9. 使用LSTM进行局部训练,服务器端使用分类器(有一个MLP层连接到一个Log-Softmax层)作为监督学习的模型。
  10. 评估:我们计算一个序列的准确性,即正确识别的样本占序列中所有样本的百分比。所有序列的平均精度就是分类器的精度。
交通流量预测是城市交通管理和规划的重要问题之一。传统的方法通常使用统计模型和时间序列分析来进行预测,但它们往往无法捕捉到交通流量数据中的复杂模式和非线性关系。因此,本文提出了一种基于多模态深度学习的混合方法来进行交通流量预测。 该方法将多模态数据(如历史交通流量数据、气象数据、节假日信息等)作为输入,利用深度神经网络来学习数据之间的复杂关系。深度神经网络可以自动提取特征,并通过多层次的非线性变换来捕捉到不同模态数据之间的依赖关系。 具体而言,该方法包括两个主要步骤:模态学习和流量预测。在模态学习阶段,使用深度神经网络对每个模态数据进行特征提取和表示学习,从而获得高维的特征表示。在流量预测阶段,利用这些特征表示来训练一个回归模型来进行交通流量的预测。可以使用不同的深度学习模型,如卷积神经网络和循环神经网络,来处理不同类型的输入数据。 该方法在实际的交通流量数据集上进行了实验,并与传统的方法进行了比较。实验结果表明,该混合方法在预测准确性和稳定性方面具有明显的优势。它能够更好地预测交通流量的变化趋势和峰值时段,并且具有较低的误差率。 综上所述,这种基于多模态深度学习的混合方法为交通流量预测提供了一种创新的解决方案。它可以更好地挖掘和利用不同模态数据之间的关联性,从而提高预测准确性,为城市交通管理和规划提供有价值的决策支持。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值