【论文阅读笔记】Robust Federated Learning with Attack-Adaptive Aggregation

个人阅读笔记，如有错误欢迎指出。

Arxiv 2021 [2102.05257] Robust Federated Learning with Attack-Adaptive Aggregation (arxiv.org)

问题：

        联邦学习容易受到不同类别的攻击

创新：

        使用注意力机制，防御多种攻击

        在服务器中使用测试集模拟不同攻击下的联合学习任务，并收集更新向量，以自监督的方式训练模型。

方法：

        良性聚合（剔除恶意模型外的良性模型的更新聚合）

        优化目标：使整体聚合更贴近于良性聚合

        由于客户端更新的向量到达顺序是不定的，且无法确定恶意更新，无法利用神经网络参数化指示函数。因此将指示函数改为可能性函数。

在向量坐标上取中值的函数（可用其他鲁棒的方法替代）

在迭代中，更新向量被概率重新加权，该概率取决于和。这种重新加权的形式非常类似于神经网络中的注意力机制

        注意力机制：客户端的更新向量经由注意力模块的多次传递得到其对应的评估得分

        对齐得分。

        Q：从上一个注意力模块获取的健壮聚合参数

        K、V：客户端的更新

        含义：计算Q和K之间的余弦相似度

        目的：固定V，训练Q、K，使得良性客户端的对齐得分接近于1，恶意客户端的对其得分接近于-1

        e保留了一定信息，并且当c较大时，中毒更新的权重较小，因此，注意力机制十分适合于健壮性聚合。又由于e的范围不适合于本文，加入了softmax中的温度超参数将权重范围映射到[-1,1]

截断

        消除具有潜在大幅度的任何损坏的更新向量的影响

        如果注意力权重小于阈值ε/nε/nε/nε/n，则将其归零

整体算法流程

实验：

总结

对客户端的更新向量加不同的注意力权重来避免恶意模型的融合。

但是需要对每一种攻击都需要相应的测试集提前在服务器上训练编码器，没细说具体的过程，并且和安全聚合策略不兼容，容易泄露隐私