论文阅读
文章平均质量分 80
学渣渣渣渣渣
我是菜
深度学习方向,欢迎交流~
展开
-
【论文阅读】了解最新科研动向、最新论文的获取
可以选择 会议/期刊,查看最新的研究:假设我想查看以下期刊的内容:就可以看到该期刊最新的论文和最受欢迎的论文了:先要查看历年的?原创 2022-09-13 21:29:44 · 17717 阅读 · 2 评论 -
【联邦学习安全综述】A Comprehensive Survey of Privacy-preserving Federated Learning: A Taxonomy, Review, and F
A Comprehensive Survey of Privacy-preserving FederatedLearning: A Taxonomy, Review, and Future Directions这里写目录标题一级目录二级目录三级目录一级目录二级目录三级目录原创 2022-04-27 18:42:55 · 18016 阅读 · 0 评论 -
【一种利用插值验证的FL隐私保护框架】VFL: A Verifiable Federated Learning
原文标题:VFL: A Verifiable Federated Learning with Privacy-Preserving for Big Data in Industrial IoT本文 use Lagrange interpolation to elaborately set interpolation points for verifying the correctness of the aggregated gradients. Compared with existing scheme原创 2022-04-23 17:11:14 · 20584 阅读 · 0 评论 -
【一种数据异构的FL迁移学习框架】Privacy-preserving Heterogeneous Federated Transfer Learning
原文:Privacy-preserving Heterogeneous Federated Transfer Learning本文讲了数据异构(区别于模型结构异构)下的 FL 训练框架,此外还有隐私保护的作用。这里的数据异构是指不同的 feature spaces,因此本文使用了迁移学习进行解决。数据异构 heterogeneous data数据异构有两种情况:homogeneous feature space orheterogeneous feature space with instance原创 2022-04-22 11:47:23 · 18984 阅读 · 0 评论 -
【FedMD,一种利用模型蒸馏的异构FL训练方法】FedMD: Heterogenous Federated Learning via Model Distillation
原文标题:FedMD: Heterogenous Federated Learning via Model Distillation涉及 迁移学习、模型蒸馏。异构FL分为数据的异构 (statistical heterogeneity) 和 模型的异构 (the differences of local models)。模型的异构FL 指的是 Each participant independently designs its own model.研究意义realistic:in a busi原创 2022-04-21 17:09:25 · 19327 阅读 · 0 评论 -
【一种节省流量适用于iid的异构FL蒸馏方法】Communication-Efficient On-Device Machine Learning
原文标题:Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data本文主要的两个贡献:提出了 federated augmentation (FAug),解决了 FL 场景下各 client 数据 non-iid 分布的问题。提出了一种 FL 蒸馏技术,不交换模型参数(先前方法or传统FL 方法)而是交换输入数据对应的 out原创 2022-04-19 21:18:40 · 18076 阅读 · 0 评论 -
【SAFELearn,一种FL安全聚合的方法】
本文提供了有关 Homomorphic Encryption、Secure Multi-Party Computation (MPC)、Differential Privacy。原文:SAFELearn: Secure Aggregation for private FEderated Learning本文提出了一种FL安全聚合的方法SAFELearn,本文提出的 SAFELearn 主要有以下优点:(G1) prohibiting access to individual model update原创 2022-04-18 09:45:56 · 17794 阅读 · 0 评论 -
【一种不用数据的 one-shot FL 异构训练方法】A PRACTICAL DATA-FREE APPROACH TO ONE-SHOT FL WITH HETEROGENEITY
本文介绍了一种 data-free 的 one-shot FL异构学习方法。区别于先前方法,本方法实现了以下的优点:(1) FedSyn requires no additional information (except the model parameters) to be transferred between clients and the server; (practical)(2) FedSyn does not require any auxiliary dataset for trai原创 2022-04-17 16:46:02 · 17608 阅读 · 0 评论 -
【FL攻防综述】Privacy and Robustness in Federated Learning: Attacks and Defenses
原文标题:Privacy and Robustness in Federated Learning: Attacks and Defenses本文对联邦学习的攻击防御、隐私性和鲁棒性做了一个全面的调研。除此以外,本文还提供了以下素材,方便写论文的时候进行参考:HFL和VFL;同构 Homogeneous Architectures 两种主流 FL 算法:FedSGD 和 FedAvg;异构 Heterogeneous Architectures 主流方法:FL 面临的两种威胁;联邦学习面临的几原创 2022-04-15 12:27:05 · 18555 阅读 · 0 评论 -
【论文阅读】一种FL下抵御各类推断攻击的代理网络MixNN_ Protection of FL Against Inference Attacks by Mixing NN Layers
原文:MixNN: Protection of Federated Learning Against Inference Attacks by Mixing Neural Network Layers本文介绍了一种介于 client 和 server 中间的代理网络 MixNN proxy ,这样的代理网络有点类似同态加密(相当于利用神经网络进行加密),可以有效避免训练过程中的各类推断攻击。除此以外,本文还设计了一种利用 update 进行的 attribute 推断攻击,用于评估不同防御方法的防御效果。原创 2022-04-10 13:52:02 · 17734 阅读 · 0 评论 -
【文献阅读】Local and Central Differential Privacy in FL
论文标题:Local and Central Differential Privacy for Robustness and Privacy in Federated Learning关键词:Local Differential Privacy;Central Differential Privacy;FL类似综述+实验论文,主要讲了在 FL 场景下 Local Differential Privacy (LDP)和 Central Differential Privacy (CDP)在遭受推断攻击.原创 2022-04-05 21:36:15 · 18148 阅读 · 1 评论 -
【论文阅读】FL下一种利用GAN生成辅助数据的 被动成员推断攻击GAN Enhanced Membership Inference: A Passive Local Attack in FL
来源论文:GAN Enhanced Membership Inference: A Passive Local Attack in Federated Learning本文介绍了一种利用 GAN 获取 整体参与者们 训练数据的分布,从而进行了更加精准的成员推断攻击。目录现有工作的不足Threat ModelMethodology现有工作的不足在FL场景下,各 client 所持有的数据存在分布不一致的情况,而之前的 shadow model 的方法要求 攻击者拥有部分和 target model 训原创 2022-03-27 15:08:42 · 18281 阅读 · 0 评论 -
【论文阅读】一种基于时间序列的 FL 节省算力被动成员推断攻击 Efficient passive membership inference attack in federated learning
相较于之前的目录原创 2022-03-26 22:12:32 · 17782 阅读 · 0 评论 -
【论文阅读】一种包含同态加密、差分隐私、多方安全计算的FL隐私保护框架 Efficient and Privacy-Enhanced Federated Learning for Industrial
本文来自:Efficient and Privacy-Enhanced Federated Learning for Industrial Artificial Intelligence本文提出了一种包含同态加密、差分隐私、多方安全计算的FL隐私保护框架。目录FLrelated workpreliminariesDeep learning 的差分隐私MethodologyFL大家都知道,就不写了~related work首个FL 隐私保护框架:Shokri and Shmatikov [18]原创 2022-03-25 21:51:47 · 19000 阅读 · 4 评论 -
【论文阅读】对训练集数据进行变换以保护隐私 Digestive neural networks: A novel defense strategy against inference
本文在联邦学习场景下,提出了一种 Digestive neural networks (后称DNN,区别于传统的DNN),类似于输入数据的特征工程,用于“抽取原始数据的有效特征,并修改原始数据使之不同”,本地模型经过处理后的数据进行训练,从而大大降低了 FL 中各类推断攻击的成功率(假设server是攻击者)。现有工作的不足现有的对于 FL 通信中隐私保护的工作主要有两种:differential privacy 和 cryptographic encryption ,前者损害了模型的准确率、使模型难原创 2022-03-23 10:55:42 · 20045 阅读 · 1 评论 -
【论文阅读】 Beyond Inferring Class Representatives: User-Level Privacy Leakage From Federated Learning
本文提出了一种 multi-task 的 GAN(multi-task GAN for Auxiliary Identification (mGAN-AI)) ,可以恢复 client 级别的多种隐私,包括 数据所属的类别、真假、来自哪一个 client,最后还能实现 某位client 训练数据的恢复。现有工作的不足Hitaj et al. [4] proposed a GAN-based reconstruction attack against the collaborative learning原创 2022-03-16 11:23:28 · 18308 阅读 · 0 评论 -
【模型调参】【论文阅读】Bag of Tricks for Image Classification with Convolutional Neural Networks
本文根据 论文Bag of Tricks for Image Classification with Convolutional Neural Networks,总结了几种可以提高模型准确率的小技巧。一般而言,上述的小技巧可以分为在训练过程中或对模型结构的更改 (Model Tweaks),仅少量涉及计算量的优化。本文直接以结论的形式呈现这些技巧。这里写目录标题一些规范可变的 learning rate1 模型训练中的小技巧1.1 Large-batch training1.1.1 Linear s原创 2022-03-01 10:56:20 · 17452 阅读 · 0 评论 -
【论文阅读】CAFE: Catastrophic Data Leakage in Vertical Federated Learning
本文主要讲述了 恶意server 如何在VFL环境下根据数据索引来还原完整的训练数据。这里写目录标题现有工作的不足主要贡献实现assumption & target为什么大批量数据难以恢复?原理现有工作的不足针对大批量训练数据还原存在诸多局限性(缺乏理论证明),通过加大训练的 batchsize 可以规避那些攻击。条件过于苛刻,例如要求恢复的数据样本数量要远小于总类别数目。主要贡献利用 VFL 中 data index 的 internal representation align原创 2022-02-28 09:37:53 · 18060 阅读 · 2 评论 -
【论文阅读】Source Inference Attacks in Federated Learning
本文提出了联邦学习场景下的 Source Inference Attack,用于确定某一数据来源于哪一参与方。本文延续成员推断攻击,针对成员推断攻击的不足,即不能判断某一训练数据是哪一参与方的成员数据,本文通过贝叶斯分析,通过一系列推导,证明了某一参与方的训练数据在其对应的本地模型上会取得更低的损失函数,以此作为来源判断的依据:即某一数据在哪个参与方模型所取得的损失函数最小,其就是那个参与方的训练数据。整个流程的算法如下:...原创 2022-02-20 15:34:51 · 18065 阅读 · 0 评论 -
【联邦学习的隐私攻击及防御】 持续更新~
本文以论文小结的形式汇报近几年联邦学习安全方面的研究。这里写目录标题攻击Attribute Reconstruction Attack 属性重构攻击三级目录攻击Attribute Reconstruction Attack 属性重构攻击不同于先前的 模型反演攻击(Model Inversion Attack,MIA),ARA是给定无关属性XothersX_{others}Xothers和标签YYY,对某单一目标属性XsX_{s}Xs进行推断,而MIA是在某一类大致相似的提前下,确定某一类的所有输原创 2022-02-20 11:56:41 · 20205 阅读 · 0 评论 -
【论文阅读】A Novel Attribute Reconstruction Attack in Federated Learning
本文提出了一种 属性重构攻击(Attribute Reconstruction Attack,ARA),利用构建样本产生的更新梯度和受害者模型更新的梯度的cos相似度,在联邦学习场景下具有较大的研究价值。不同于先前的 模型反演攻击(Model Inversion Attack,MIA),ARA是给定无关属性XothersX_{others}Xothers和标签YYY,对某一目标属性XsX_{s}Xs进行推断,而MIA是在某一类大致相似的提前下,确定某一类的所有输入属性Xothers+XsX_{oth.原创 2022-02-19 11:40:50 · 20479 阅读 · 0 评论 -
【计算机视觉】Class Activation Mapping(CAM、GradCAM) 特征定位、激活图
转载自:https://zhuanlan.zhihu.com/p/51631163目录论文来源GAP(全局平均池化层)CAM(类激活映射)论文来源《Learning Deep Features for Discriminative Localization 》(2016CVPR)简单来说,这篇文章主要介绍了两个核心技术:GAP(Global Average Pooling Layer) 和 CAM(Class Activation Mapping)GAP(全局平均池化层)在说全局平均池化之前,转载 2021-12-07 12:15:54 · 21353 阅读 · 0 评论 -
综述:如何给模型加入先验知识
端到端的深度神经网络虽然能够自动学习到一些可区分度好的特征,但是往往会拟合到一些非重要特征,导致模型会局部坍塌到一些不好的特征上面。本文通过一个简单的鸟类分类案例来总结了五个给模型加入先验信息的方法。转载 2021-12-06 20:58:21 · 21011 阅读 · 0 评论 -
迁移学习 transfer learning
本文从入门级讲述了迁移学习的原理及基本实现方法原创 2021-11-21 20:35:28 · 18357 阅读 · 0 评论 -
综述——自监督学习 预训练 小样本学习
目录小样本学习研究现状Are Large-scale Datasets Necessary for Self-Supervised Pre-training?小样本学习研究现状目前,计算机视觉神经网络被大量参数化:它们通常有数千万或数亿个参数,这是它们成功利用大型图像集合 (如 ImageNet) 的关键。然而,这些高容量模型往往会在小型(包含数十万张图像)甚至中型数据集上过度拟合。因此,有研究者指出在 2014 年:学习 CNN 的过程相当于估计模型数百万个参数,这需要大量的带标注的数据。当今应对原创 2021-11-16 20:35:31 · 22356 阅读 · 0 评论 -
自监督学习中的 Contrastive Learning 对比学习(持续更新)
本文粗略介绍了对比学习的基本原理以及常见方法。什么是对比学习?对比学习是一种自监督或者无监督学习的一种方法。通过对比未知样本和正负样本的相近程度,来给未知样本进行正负归类。最早运用于判定图像表征之间的相似程度。...原创 2021-11-12 17:53:58 · 31789 阅读 · 0 评论 -
文献阅读--FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping
本文设计了一个 Byzantine-robust (能够抵御投毒攻击) 的联邦学习框架。在此 Fed 框架中,每一轮梯度聚合前,server 端 会先计算 global模型在 root dataset(server额外收集的干净的数据集,大小为100即可)上的梯度,然后通过计算该梯度和各 client 上传的梯度的 角度获取 TS(信任分数),并进行幅值的缩放,有效地降低了 上传投毒梯度的 client 所造成的影响。目录1 问题2 挑战2.1 如何辨别哪个client异常?2.2 如何控制更新权重?2原创 2021-10-08 17:04:07 · 18373 阅读 · 0 评论 -
从CVPR 2021的论文看计算机视觉的现状
本博客为转载,来源网址:https://mp.weixin.qq.com/s/KqJbgAaLDpJzLURH2UqBiA目录1 对抗样本学习1.1 使用对抗样本学习的利弊1.2 使用对抗样本学习的最新技术2 自监督和对比学习2.1 自我监督和对比学习的利弊2.2 最先进的自我监督和对比学习1 对抗样本学习深度学习和计算机视觉系统在各种任务上都取得了成功,但它们也有缺点。最近引起研究界注意的一个问题是这些系统对对抗样本的敏感性。一个对抗性的例子是一个嘈杂的图像,旨在欺骗系统做出错误的预测 [1]。为转载 2021-09-28 22:04:38 · 17297 阅读 · 0 评论 -
文献阅读--Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design
本文讲述了在联邦学习中,如何确定上传异常梯度的 Unreliable Clients,并提出了DeepSA算法,用来屏蔽Unreliable Clients上传的本地模型参数。除此以外,本文还推算了在异常场景下中心模型损失函数收敛的上界,并得到了最佳本地训练epoch的数量。我们先来看一下存在 Unreliable Clients 的联邦学习场景:注:在本文的联邦学习框架中,各 client 在本地进行多轮epoch 的训练,再上传本地模型参数,而不是上传梯度。本文把 abnormal behavi原创 2021-09-26 20:52:36 · 17317 阅读 · 0 评论 -
文献阅读--Abnormal Client Behavior Detection in Federated Learning
本文讲述了如何在联邦学习环境中通过检测恶意客户端的一些异常行为,来抵御例如投毒攻击这样损害中心模型的攻击。不同于之前 defense-based 的相关技术,本文提出了 detection-based,利用 anomaly detection(异常检测)技术,从各方参与者上传的本地模型参数,识别出潜在的恶意参与者,并通过异常值在 “参数聚合” 过程中控制各方参数的权重。这篇文章 idea原理简单、技术简单,适合新手阅读。1 技术概括1.1 全局参数更新算法我们都知道,在联邦学习中,可以通过FedA原创 2021-09-22 17:52:36 · 17828 阅读 · 2 评论 -
期刊、会议等级查询
目录1 如何确定一篇文章来自哪个期刊?2 期刊等级划分3 查看期刊详情(中科院几区)3.1 中科院几区是什么意思?3.2 如果一个期刊在不同领域的区不一样,怎么判别?4 大佬语录1 如何确定一篇文章来自哪个期刊?谷歌学术–文章的标题,引用它,可以看到:所以这篇文章来自期刊:IEEE Transactions on Information Forensics and Security2 期刊等级划分根据中国计算机学会出的 《中国计算机学会推荐国际学术会议和期刊目录》(pdf),搜索找到那一篇期刊:原创 2021-09-13 12:00:42 · 19025 阅读 · 0 评论 -
文献阅读--数据集推断 DATASET INFERENCE: OWNERSHIP RESOLUTION IN MACHINE LEARNING
prediction margin在本文中,作者提出了一个概念:prediction margin,用来指 the disparity in the response of an ML model to inputs that it saw during training time, versus those that it did not.它反映了模型输出的置信度。本文的中心工作也是量化这样的 disparity,并证明了 MI 在本场景下的失效。白盒场景这样的场景适用于有客观的、可以做出公正裁决原创 2021-04-28 09:55:46 · 17842 阅读 · 8 评论 -
文献阅读--Certified Adversarial Robustness via Randomized Smoothing
关键词:adversarially robust; Gaussian noise; L2-norm; randomization这里写自定义目录标题1 概述2 背景2.1 研究现状3 挑战1 概述本文通过给分类器高斯噪声处理,使得新分类器对对抗攻击足够鲁棒。本文提出了“randomized smoothing” 技术并对其进行了严密的分析,进一步揭示了L2正则项和高斯噪声的联系:==我们使用该技术来训练ImageNet分类器,例如,在l2范数小于0.5(=127/255)的对抗扰动下,认证的最高准确度原创 2021-04-22 11:51:52 · 20201 阅读 · 0 评论 -
文献阅读--Individual Calibration with Randomized Forecasting
文章目录文献阅读-Individual Calibration with Randomized Forecasting本文的背景什么叫做calibrate?什么叫做miscalibrate?以往的方法如何实现calibrate?有哪些不足?本文在何种假设下如何实现calibrate?实现方法的主要思想是什么?实验结果分析背景知识1. 逆采样( inverse CDF)原理2. 似然估计2.1 负对数似然(negative log-likelihood)3. zero measure (零测度)4. emp原创 2021-03-14 16:53:31 · 17087 阅读 · 0 评论 -
【文献阅读】Federated Accelerated Stochastic Gradient Descent
文章目录1 Federated Accelerated Stochastic Gradient Descent (FedAc)2 challenge3 how to do4 baseline1 Federated Accelerated Stochastic Gradient Descent (FedAc)本文从凸函数的性质出发,将联邦学习的收敛问题转化成凸函数的最小优化问题,提出了一种联邦学习框架下的首个实现加速随机梯度下降(SGD)的算法(FedAc),其有效地改善了联邦学习在不同凸函数(conve原创 2021-03-02 20:47:31 · 17319 阅读 · 0 评论