SphereFed: Hyperspherical Federated Learning 球联邦学习 ECCV 2022

已于 2023-02-17 11:09:37 修改
阅读量131 收藏
点赞数
分类专栏： 论文 文章标签： 深度学习
于 2023-02-13 16:06:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43845774/article/details/129009881
版权

球联邦学习

论文主体，球联邦学习示意结构

文章大意

作者将待训练的卷积神经网络分为特征提取器和分类器两个部分。将提取得到的特征归一化为l维（特征的维度）“球型特征向量”，即两两正交，长度一致。由于将特征进行了球状转换，Loss函数采用MSE而不是分类问题常用的交叉熵。
在进行联邦训练时，所有用户共享同一个分类器（fixed and shared）。训练之后再将分类器进行重校准。基于MSE LOSS，提出了一种快速校准方法。

杂谈

这篇论文角度新颖，可惜没公布代码。将特征归一化，使得模型可以更好的收敛？

江水之南
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
联邦学习的基本概念和术语 Federated Learning: Collaborative Machine Learning
程序员光剑
08-04 1159
随着互联网、移动互联网、物联网、云计算等新兴技术的广泛应用，传统数据中心遇到的限制越来越多，因此出现了边缘计算的概念。边缘计算可以将数据处理从中心服务器上卸载到边缘设备上，实现更快、更可靠的数据处理。然而，由于设备离用户较远，带宽资源受限等因素，边缘计算面临的通信、计算性能等问题也同样存在。为解决这一问题，机器学习领域提出了联邦学习（Federated Learning）的概念。联邦学习是一种机器学习模型训练方法，它允许多个数据所有者共同协作训练一个模型，从而使得模型能够更好地泛化到新数据上。
AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的分类详解(纵向联邦学习/横向联邦学习)、使用方法、实战案例之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-21 2884
​ AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的分类详解(纵向联邦学习/横向联邦学习)、使用方法、实战案例之详细攻略 目录 联邦学习的分类详解(纵向联邦学习/横向联邦学习) 联邦学习的使用方法 联邦学习的实战案例 相关文章 AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史)、系统及其架构、场景应用之详细攻略 AI之FL：联邦学习(Federated Learning，分布
联邦学习（Federated Learning）介绍
土豆洋芋山药蛋的博客
04-21 5781
参考资料： Tensorflow官网教程：https://www.tensorflow.org/federated/ 联邦学(federated learning)习生态：https://cn.fedai.org federated learning/联邦学习：https://daiwk.github.io/posts/dl-federated-learning.html Federated ...
SplitFed: When Federated Learning Meets Split Learning
tiger00O的博客
03-05 1601
联邦学习
FedMD: Heterogenous Federated Learning via Model Distillation
qq_33619359的博客
05-14 524
NeurIPS2019，通过一个全局数据集实现知识蒸馏。code: 没找到。
联邦学习+拆分学习|SplitFed: When Federated Learning Meets Split Learning
weixin_43235829的博客
03-29 7957
研究背景： 对于机器学习 一个简单的方法是对原始数据进行中央池化。然后，分析人员访问汇集数据的中央存储库，对整个数据集进行ML。这种方法称为Data-toModeler (DTM)[3]。 第二种方法是利用分布式协作学习(DCL)。它支持在多个系统或服务器和终端设备(如移动电话)上进行计算，而数据驻留在源设备中。由于分布式数据不是集中在一个中央存储库中，DCL为数据集提供了一定程度的隐私。但是，仍然存在隐私风险，因为服务器或分布式系统可能不是受信任的平台。在这方面，人们提出了各种保护隐私的计算技术。包括同
GFL：Galaxy Federated Learning Framework（星际联邦学习框架）
02-05
除了传统的联邦学习算法，GFL还提供了一种基于模型提炼的新联邦学习算法。 开发人员可以选择不同的联合学习算法来训练他们的模型。 对GFL对象或对联邦学习研究的可以扫描末尾的二维码加入GFL交流群进行交流哦〜 GFL...
论文笔记-FedGraphNN: A Federated Learning Benchmark System for Graph Neural Networks
weixin_37390905的博客
06-09 520
GNN已经在业界有了很广泛的应用且很多领域已有SOTA的效果，但是在隐私安全日渐趋严的背景下，如何通过FL实现gnn的跨域联邦学习是一个有益的结合，本文通过联邦环境下对于Graph数据的如何在不同domain集群下进行训练，包括邻居采样、聚合和梯度回传等提出了一套完整的方案，并开源相关实现框架...
Federated-Learning:联邦学习
05-17
Federated Learning 人工智能（Artificial Intelligence, AI）进入以深度学习为主导的大数据时代，基于大数据的机器学习既推动了AI的蓬勃发展，也带来了一系列安全隐患。这些隐患来源于深度学习本身的学习机制，无论...
如何理解深度学习的训练过程
qq_61033357的博客
09-11 143
这是模型在训练过程中通过数据自动学习的参数，主要是卷积层的权重和偏置。比如卷积核内部的权重（Conv2d中的weights和bias）会随着训练数据的输入和误差的反馈不断更新。以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗。这些参数是在反向传播过程中由优化器（如Adam、SGD等）自动调整的，目的是使模型更好地拟合训练数据。步长（stride）：决定卷积操作在输入特征图上的移动幅度，影响输出的特征图大小。
秃姐学AI系列之：实战Kaggle比赛：狗的品种识别（ImageNet Dogs）
最新发布
m0_62415132的博客
09-11 423
在这里，我们选择预训练的ResNet-34模型，我们只需重复使用此模型的输出层（即提取的特征）的输入。然后，我们可以用一个可以训练的小型自定义输出网络替换原始输出层，例如堆叠两个完全连接的图层。因此，我们可以使用 微调中讨论的方法在完整ImageNet数据集上选择预训练的模型，然后使用该模型提取图像特征，以便将其输入到定制的小规模输出网络中。在计算损失之前，我们首先获取预训练模型的输出层的输入，即提取的特征。的处理一样，即从原始训练集中拆分验证集，然后将图像移动到按标签分组的子文件夹中。
深度学习时遇到tensor([0.], device=‘cuda:0‘)等输出
weixin_53036073的博客
09-11 260
很有可能是更改了ultralytics文件夹中的某一个文件导致的，我以为是因为我更新了几个模块导致的出错，尝试了很多方法比如关掉详细输出修改模块以及将环境恢复至原始状态，但是都没有解决。其实以前运行也遇到过类似问题，换了我师姐给的ultralytics文件夹后就解决了，也不知道啥原理。所以这次还是把现在的ultralytics文件夹给删除，换成最初的ultralytics文件夹，再运行就正常了！所以这次还是把现在的ultralytics文件夹给删除，换成最初的ultralytics文件夹，再运行就正常了！
卷积神经网络(一)
m0_73426548的博客
09-06 1307
假设外面有10个Filter，每个Filter3*3*3，并且只有一层卷积假设有一张图片1000*1000*3，需要多大的零填充((N+2P-F+1) /S+1)=N，解得P=1卷积层相当于特征提取的角色，但是没有减少图片的特征数量，在最后的全连接依旧面对大量的计算，所以需要池化层进行特征的减少。
【深度学习讲解笔记】前言
i156456365的博客
09-08 203
小编为AI专业的本科学生，最近入手了一本《深度学习讲解》的书，由于封面画了苹果🍎，所以也叫苹果书，这本书目前在全网的热度很高。本系列博客的目的就是以笔记的形式记录一些重点以及我个人的理解，由于小编也是小白，所以理解不准确还望指正。
深度学习-01 Pytorch
qq_53568730的博客
09-08 683
PyTorch是一个开源的机器学习框架，它提供了一个灵活的高级接口，可以帮助开发者构建神经网络模型以及进行深度学习的训练和推理。此外，Tensboard还提供了可视化工具，可以显示模型中的权重、梯度和激活值的分布情况，帮助我们分析模型的表现和瓶颈。通过使用transforms模块，可以对原始数据进行多种操作，如缩放、裁剪、旋转、翻转、标准化等，以便更好地适应模型的训练要求。5.深度学习框架的完整功能：PyTorch提供了许多用于构建和训练深度学习模型的工具和功能，如各种层、优化算法和损失函数等。
计算机毕业设计Python+Spark交通流量预测 智慧城市交通大数据 交通爬虫 地铁客流量分析 大数据毕业设计 大数据毕设 深度学习 机器学习
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
09-11 804
计算机毕业设计Python+Spark交通流量预测 智慧城市交通大数据 交通爬虫 地铁客流量分析 大数据毕业设计 大数据毕设 深度学习 机器学习
机器学习和深度学习的常见概念总结(面试用，多原创图和公式，超10万字)
虾米记的博客
09-11 561
这是我对机器学习和深度学习的一些常见概念的全面总结，面试用，有很多图表和公式
深度学习基础--卷积网络
wang6562009的专栏
09-11 633
在卷积层，每个隐藏单元的计算基于对邻近输入的加权求和、加偏置以及应用激活函数。由于每个空间位置的权重和偏置保持不变，因此相比全连接网络，卷积网络的参数量大大减少，且不随输入图像的大小而增加。为保证信息完整，采用不同的权重和偏置重复此操作，在每个空间位置生成多通道。典型卷积网络结构包括卷积层与二倍因子降采样层的交替，随网络深入，空间维度通常以二的倍数减小，通道数以二的倍数增加。网络末端通常包含一个或多个全连接层，整合整个输入的信息以产出期望输出。若输出为图像，一个对称的“解码器”则将其上采样至原始尺寸。
BlockFLA：区块链驱动的问责联邦学习机制
BlockFLA: Accountable Federated Learning通过混合区块链架构实现可信联邦学习 BlockFLA是一项旨在增强联邦学习（FL）隐私性和安全性的重要研究，特别针对数据保护需求高的场景。FL原本是一种分布式机器学习方法，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值