Federated Optimization for Heterogeneous Networks, Fedprox

最新推荐文章于 2024-08-23 22:47:58 发布

江水之南

最新推荐文章于 2024-08-23 22:47:58 发布

阅读量144

点赞数

分类专栏：论文文章标签：深度学习

本文链接：https://blog.csdn.net/qq_43845774/article/details/129148499

版权

论文专栏收录该内容

16 篇文章 3 订阅

订阅专栏

文章介绍了在分布式机器学习中，FedProx算法的ProximalTerm部分，该部分用于保持本地模型与全局模型之间的距离，防止过大的更新偏离。通过计算模型参数差的平方和并乘以惩罚系数mu，得到正则化损失，从而在优化过程中引入稳定性。

摘要由CSDN通过智能技术生成

再水一天

在这里插入图片描述
大道至简呐

代码

	# Add proximal loss term
	loss += self._proximal_term(global_model, self.model, self.algo_params.mu)

    def _proximal_term(self, global_model, model, mu):
        """Proximal regularizer of FedProx"""

        vec = []
        for _, ((name1, param1), (name2, param2)) in enumerate(
            zip(model.named_parameters(), global_model.named_parameters())
        ):
            if name1 != name2:
                raise RuntimeError
            else:
                vec.append((param1 - param2).view(-1, 1))

        all_vec = torch.cat(vec)
        square_term = torch.square(all_vec).sum()
        proximal_loss = 0.5 * mu * square_term

        return proximal_loss