车联网场景下联邦学习应用（主要针对节点动态性和激励机制）——文献总结分析

目录

Part 1.Mobility

一、《Mobility-Aware Cooperative Caching in Vehicular Edge Computing Based on Asynchronous Federated and Deep Reinforcement Learning》——问题场景：车辆移动性、异步联邦、边缘缓存内容预测

二、《Blockchain Empowered Asynchronous Federated Learning for Secure Data Sharing in Internet of Vehicles》——分散型FL；BC+FL架构双重验证机制；车辆移动性；声誉机制；异步联邦

三、《A Federated Learning-Based Edge Caching Approach for Mobile Edge Computing-Enabled Intelligent Connected Vehicles》——问题场景：考虑移动性的节点选择；边缘缓存内容预测

四、《Mobility-Aware Cluster Federated Learning in Hierarchical Wireless Networks》

五、《Joint resource management for mobility supported federated learning in Internet of Vehicles》——问题场景：节点移动性；模型相似性；网络资源分配

Part.2 Incentive Mechanism

一、《Decentralized Edge Intelligence: A Dynamic Resource Allocation Framework for Hierarchical Federated Learning》——问题场景：双层FL；拍卖机制；演化博弈平衡激励机制

二、《Dynamic Federated Learning-Based Economic Framework for Internet-of-Vehicles》——问题场景：节点动态性；数据质量差异（百分比矩阵）；激励机制

---

Part 1.Mobility

一、《Mobility-Aware Cooperative Caching in Vehicular Edge Computing Based on Asynchronous Federated and Deep Reinforcement Learning》——问题场景：车辆移动性、异步联邦、边缘缓存内容预测

从车辆移动性考虑，采用异步FL提升聚合模型的精度，将车辆位置、传输速率作为权重融入聚合公式;从传输延迟的角度，预测热门内容，基于DRL将其存储到本地或邻居RSU上，减少与MBS、云服务器的通信。

节点选择：在RSU覆盖范围中停留的时间>训练时间+介入时间；AE(auto encoder)提取content的潜在特征，训练AE中的权重和偏置项。异步联邦聚合方式，融入车辆移动性相关权重。

    热门内容预测：评分矩阵—AE—>提取潜在特征后的重构矩阵，结合各车节点的个人信息形成个人信息+重构评分矩阵——>计算余弦相似度，选出最大的K个作为该车邻居车节点，组合各邻居车节点的评分矩阵作为该车的interested content；传输给RSU，RSU将自己覆盖范围下的车节点interested content整理得到popular content：Fc个

     基于DRL的联合缓存方案：state、action、reward、nextstate(s(t), a(t), r(t), s(t + 1))判断各RSU中、及其邻居RSU中的缓存内容是否需要置换。

缺点：1、增加数据质量融入车辆选择策略中；

2、没有考虑恶意节点带来的隐私问题，可引入相关的隐私保护机制。

优点：多方面考虑了车辆的移动性对FL模型的影响：

1、将车辆的位置、速度作为车节点选择的依据

2、将车辆的移动性融入聚合权重

二、《Blockchain Empowered Asynchronous Federated Learning for Secure Data Sharing in Internet of Vehicles》——分散型FL；BC+FL架构双重验证机制；车辆移动性；声誉机制；异步联邦

    混合区块链的双重验证机制保障联邦过程的鲁棒性和隐私性，基于深度强化学习的节点选择保障所选节点的质量对全局模型的贡献最大。总体上仍然采用联邦学习的框架，但在DAG（车节点运行）中采取了异步的本地聚合，减少了传统FL同步聚合方式具有的延迟较高问题。

在节点移动性上，采用深度学习模型

1、双重验证机制，保障了联邦学习模型更新参数的合法性，增强了联邦过程的鲁棒性

2、异步联邦学习，减少了等待本地训练参数上传在同步聚合的时延，符合车联网对实时性的高要求。

3、基于DDPG的节点选择算法，不仅更全面地（通信状态、计算资源、本地训练效果）考虑了节点的质量，同时融入了声誉机制，对于恶意节点的防御性更强。

三、《A Federated Learning-Based Edge Caching Approach for Mobile Edge Computing-Enabled Intelligent Connected Vehicles》——问题场景：考虑移动性的节点选择；边缘缓存内容预测

一、问题总结：1、车节点形成的动态网络拓扑以及各节点之间拥有资源的差异，对FL过程影响较大。2、边缘服务器(ES,edge server)的缓存容量有限，而预测热门内容的大小通常超过ES的缓存容量。时延问题

二、主要思路：

1、从节点选择策略考虑，同时结合车辆位置、FL训练要求、节点资源进行最优化求解。

2、从传输延迟的角度，预测热门内容，将其存储到本地或邻居边缘服务器ES上，减少与云服务器的通信。

三、详细方法：1、在节点移动性方面，考虑节点与RSU的距离，以布尔类型的值标志其与RSU的关系，同时借助概率转移矩阵，表示其在RSU之间的移动性。然后考虑模型参数传输时延、计算能耗来选择节点（马尔可夫决策过程）；

2、热门内容预测缓存：借助命中率、请求概率、内容个传输时延形成最优化问题进行求解（DQN)

四、《Mobility-Aware Cluster Federated Learning in Hierarchical Wireless Networks》——问题场景：节点移动性；数据异质性；分层联邦

1、转移概率矩阵

        在概率转移矩阵中，考虑了车节点与当前AP（access points）的链接状态以及各AP之间的邻接矩阵，最后给出车节点从一个AP转移到相邻AP的概率。从而决定了车节点位置状态以及AP管理范围内的车节点。文中将属于同一AP的车节点划分为一个cluster进行模型聚合

2、传统分层联邦（HFL）模型聚合时节点移动性的影响：

（1）大致过程：

 1)收到车节点参数后中间聚合：边缘服务器只将下一轮和本地都在管辖范围内的节点模型参数用于中间聚合

  

2)收到全局聚合模型后的中间聚合（模型下发）：

（2）结论：

1)通过分别对κ1 和κ2 求偏导数发现：收敛误差θ_HFL会随着κ1 或κ2 值的减小而单调地减小，这意味着用户和边缘接入点交换信息的频率越高，训练算法的收敛速度就越快。

此外，如果κ1κ2 的乘积是固定的，那么θ_HFL 会随着κ1 的减小或κ2 的增大而减小。这一观察结果表明，当全局聚合的持续时间固定时，交换局部模型往往比交换全局模型更有帮助。（有助于学习不同用户之间数据的差异，实现模型的泛化性）

2)通过对停留概率p_s求偏导数，可以看到θ_HFL 取决于训练数据的属性和本地训练所使用的损失函数，并且不是p_s 的单调函数。特别是当p_s= 0 时，算法将永远不会收敛，因为没有移动用户参与模型聚合。根据这一观察结果，需要为高移动性用户设计一种新的模型聚合方案

3、Mobility-aware Cluster FL(MACFL)

在MACFL算法中，新到达的用户可以根据从一个边缘AP下载的集群模型更新其本地模型，然后将更新后的结果上传到不同的边缘AP。

这种方法导致参与者数量增加。尽管如此，考虑到用户移动性，共享集群模型旨在学习随时间而改变的用户集的通用模型，并适应每个用户。

更改了模型聚合规则：主要涉及到模型相似度来决定聚合权重，而模型相似度在训练过程中会不断发生改变，从而导致聚合权重也会在训练过程中不断学习（改变）

端：

边缘：

中心：

五、《Joint resource management for mobility supported federated learning in Internet of Vehicles》——问题场景：节点移动性；模型相似性；网络资源分配

主要问题：1.在边缘计算场景下，车节点移动性对模型聚合的影响；2.对于车联网中的机器学习、车载应用来说，通信过程频繁传输数据开销较大，需要合理的分配通信和计算资源。

主要思路：1、针对节点移动性，计算选择该节点参与训练得必要性，包括车节点在基站覆盖范围停留时间：由位置、速度、区域拥堵情况计算可得，当必要性大于某个阈值时，则选择该节点参与训练。2、针对资源分配，主要考虑非正交多接入的信道频分复用，以及子信道上的功率片分配，还有各个车节点的计算单元分配，结合联邦学习训练时间，得到总体的资源消耗，最后利用马尔可夫决策过程进行强化学习最优化问题求解。
 

设计了一种移动性支持的联合学习参与者决策算法，从候选车辆中挑选出参与者。其次，在资源分配问题上，考虑到集中式资源分配的局限性，作者提出了一种受多代理深度强化学习启发的全分布式资源分配方法，以优化联邦学习成本。

文中分配的网络资源主要针对上行通信链路的资源分配，包括带宽中的频路划分、功率分配。

车辆移动性的影响主要考虑在对传输速率 uk 的影响转换为（Vk 和 gNB基站 之间）距离 dk 对传输速率 uk 的影响。其次结合local模型相似性、剩余停留时间，得到节点参与训练的必要性：

最后根据必要性是否达到阈值来选择参与训练的节点。

缺点：在节点移动性方面没有考虑数学模型来刻画车辆的移动性，文中节点速度单一不变.

两个车载实时应用数据集：
1、车辆轨迹预测：original trajectory information in the DiDi dataset
2、交通信号预测：GTSDB (German Traffic Sign Detection Benchmark)

Part.2 Incentive Mechanism

一、《Decentralized Edge Intelligence: A Dynamic Resource Allocation Framework for Hierarchical Federated Learning》——问题场景：双层FL；拍卖机制；演化博弈平衡激励机制

引入拍卖机制second-price aution（SPA）解决两级资源分配和激励机制设计问题。

    首先进行车节点群体划分，即将拥有“相同”数据质量的节点看作一个“人群”population，再直接以人群中的方案为单位去对中间层节点进行簇群选择。在动态的簇选择中，基于演化平衡evolutionary equilibrium，保证对于整个population的净效益最大，即整个population的净收益偏差为0。

最后以簇群为单位，对上层聚合服务器进行选择，此过程模拟为拍卖机制（基于深度学习）。bidder根据自己的“需要”来竞价，吸引拥有更多服务的seller（簇）加入自己的训练。深度学习模型中生成簇选择方案已经最后服务器的支付价格。

缺点：对于“数据质量”仅为数学概率分布类型，未根据数据内容分布来划分

1、单纯的考虑数据分布，未考虑数据质量

2、未考虑节点在训练过程的移动性

3、多次对workers的群体划分以及cluster的演化选择会带来额外较大的计算成本

优点：不只是考虑中间节点对终端节点的选择，也考虑了上层不同模型拥有者对不同数据的需求，从而更合适的选择所需的数据（对应的参与方）

二、《Dynamic Federated Learning-Based Economic Framework for Internet-of-Vehicles》——问题场景：节点动态性；数据质量差异（百分比矩阵）；激励机制

仅考虑车节点与边缘服务器的利润合同来设计激励机制，进一步在分层联邦场景下可以根据聚合服务器的数据需求来设计激励机制；其次文中所谓的“动态性”仅以车节点位置作为条件，未考虑位置“变化”相关信息。

文中针对联邦学习在车联网中应用所面临的一个无法避免的问题：参与训练车辆的动态性，其次就是在实际应用中需要考虑的效益、成本（即利润）。文中提出的基于位置、信息重要性来动态选择参与FL的智能车辆，保证了车辆在联邦过程中提供出的信息的质量（在non-iid情境下优势更加明显）。

同时在此过程中，作者考虑了不同智能车辆之间的竞争，用能为服务商、全局网络以及自身利润作为评估，选择利润最大化的智能车辆对应的合约。