![](https://img-blog.csdnimg.cn/2019091509203282.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
论文阅读
文章平均质量分 90
想想虔诚怎么做
You only live once.
展开
-
Three scenarios for continual learning
Three scenarios for continual learningStandard artificial neural networks suffer from the well-known issue of catastrophic forgetting, making continual or lifelong learning difficult for machine learning.Three Continual Learning ScenariosThese scenarios原创 2021-08-23 17:28:21 · 634 阅读 · 0 评论 -
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID DataExisting Methods for non-IID dataclient drift mitigation通过修改Local 参与者的目标,因而Local模型可以在一定程度上保持与全局模型的一致aggregation scheme通过提升服务器端模型融合方案data sharing通过引入公开数据集或原创 2021-06-24 12:36:43 · 789 阅读 · 1 评论 -
Multi-Center Federated Learning
Multi-Center Federated LearningMotivation现有的联合学习方法通常采用单个全局模型来通过汇总其梯度来捕获所有用户的共享知识,而不管其数据分布之间的差异如何。但是,由于用户行为的多样性,将用户的梯度分配给不同的全局模型(即中心)可以更好地捕获用户之间数据分布的异质性。MethodologyMulti-center Aggregation原始联合学习使用一种中央模型将聚合结果存储在服务器中,这称为单中心聚合。 用户的行为数据通常是多种多样的,这意味着最佳的本地模原创 2021-06-24 07:52:48 · 864 阅读 · 0 评论 -
NeurIPS 2019 Federated Learning Accepted Paper
Improving Federated Learning Personalization via Model Agnostic Meta LearningProblemsFL applications generally face non-i.i.d and unbalanced data available to devices, which makes it challenging to ensure good performance across different devices with a原创 2021-04-13 07:45:47 · 536 阅读 · 0 评论 -
Federated Model Distillation with Noise-Free Differential Privacy
Federated Model Distillation with Noise-Free Differential PrivacyExisting WorkFedMDEach model is first trained on the public data to align with public logits, then on its own private data.CronusIn contrast, Cronus mixes the public dataset (with soft l原创 2021-03-22 16:26:14 · 1428 阅读 · 1 评论 -
ICLR2021 - Federated Learning Paper
Federated Semi-Supervised Learning With Inter-Client Consistency & Disjoint LearningProblemsTwo practical scenarios of Federated Semi-Supervised Learning (FSSL):each client learns with only partly labeled data (Labels-at-Client scenario) 客户端有数据 用户端原创 2021-03-01 10:39:34 · 2569 阅读 · 1 评论 -
Attention Is All You Need论文阅读
Attention Is All You NeedProblemsRNN(或者LSTM,GRU等)的计算限制为是顺序的,也就是说RNN相关算法只能从左向右依次计算或者从右向左依次计算,这种机制带来了两个问题:循环模型通常是对输入和输出序列的符号位置进行因子计算。 通过在计算期间将位置与步骤对齐,它们根据前一步的隐藏状态ht−1h_{t-1}ht−1和输入产生位置t的隐藏状态序列hth_tht。这种固有的顺序特性阻碍样本训练的并行化,这在更长的序列长度上变得至关重要,因为有限的内存限制样本的批次大原创 2021-02-15 21:42:50 · 480 阅读 · 0 评论 -
Ask, acquire, and attack: data-free UAP generation using class impressions
Ask, acquire, and attack: data-free UAP generation using class impressionsProblems深度学习模型容易受到输入的具体的噪音(input specific noise),定义为对抗扰动(adversarial perturbations)。此外,这些对抗性扰动表现出跨模型的普遍性(可转移性)。这意味着相同的对抗扰动样本对不同结构模型都能起作用存在着input specific noise 叫做通用对抗扰动(Universar原创 2021-02-10 10:33:17 · 699 阅读 · 0 评论 -
Zero-shot knowledge distillation in deep networks
Zero-shot knowledge distillation in deep networksObjectiveCan we do Knowledge Distillation without (access to) training data (Zero-Shot)?Data is precious and sensitive – won’t be sharedE.g. : Medical records, Biometric data, Proprietary dataFederated原创 2021-02-03 11:17:13 · 659 阅读 · 0 评论 -
Distilling the Knowledge in a Neural Network分析
Distilling the Knowledge in a Neural Network(2015)ChallengesToo cumbersome to Deploy to the clientOverfittingQ:The conflicting constraints of learning and usingThe easiest way to extract a lot of knowledge from the training data is to learn many diff原创 2021-01-29 21:14:36 · 532 阅读 · 0 评论 -
pix2code总结
KeywordDSL,即领域特定语言,它是一种为解决特定领域问题,而对某个特定领域操作和概念进行抽象的语言。• 外部 DSL,即创建一个专用目的的编程语言。诸如用于 BDD 测试的 Cucumber 也是一种外部 DSL,从某种意义上来说,用于写作的 markdown 也算是一种 DSL。它们通常都需要语法解析器来进行语法分析,并且通常可以在不同的语言、平台上实现。• 内部 DSL,即:指与项目中使用的通用目的编程语言(Java、C#或Ruby)紧密相关的一类 DSL。它是基于通用编程语言实现的,由它原创 2020-07-08 15:02:11 · 1516 阅读 · 0 评论 -
how to backdoor federated learning
how to backdoor federated learning摘要联邦学习使成千上万的参与者能够构建一个深度学习模型,而无需共享他们的私人训练数据。例如,多部智能手机可联邦训练键盘下一个单词的预测器,而不会透露用户输入的内容。我们证明,联邦学习的任何参与者都可以在l联邦全局模型中引入隐藏的后门功能,例如,为了确保图像分类器将攻击者选择的标签赋给具有某些特征的图像,或者单词预测器使用攻击者...原创 2019-12-13 17:17:15 · 2859 阅读 · 0 评论 -
Trojaning Attack on Neural Networks
摘要摘要:随着机器学习技术的快速发展,共享和采用公共的机器学习模型变得非常流行。这给了攻击者很多新的机会。本文提出了一种针对神经网络的木马攻击。由于模型不直观,不易被人理解,所以攻击具有隐蔽性。部署木马模型可能导致各种严重后果,包括危及生命(在自动驾驶等应用程序中)。首先对神经网络进行反求,生成一个通用的木马触发器,然后利用逆向工程训练数据对模型进行再训练,将恶意行为注入到模型中。恶意行为只会...原创 2019-12-09 21:06:46 · 4545 阅读 · 0 评论 -
BadNets Identifying Vulnerabilities in the Machine Learning Model Supply Chain
摘要基于深度学习的技术已经在各种各样的识别和分类任务上取得了最先进的性能。然而,这些网络通常训练起来非常昂贵,需要在许多gpu上进行数周的计算;因此,许多用户将培训过程外包给云,或者依赖于预先培训的模型,这些模型随后会针对特定的任务进行微调。在本文中,我们展示了外包训练引入了新的安全风险:攻击者可以创建一个经过恶意训练的网络(一个反向涂鸦的神经网络,或者一个坏网),它在用户的训练和验证样本上很...原创 2019-11-13 23:23:38 · 5104 阅读 · 1 评论 -
Poison Frogs! Targeted Clean-Label Poisoning Attacks on Neural Networks 多任务学习 多任务关系学习
论文简介在这项工作中,我们研究了一种新的攻击类型,称为干净标签攻击,攻击者注入的训练示例被认证机构清晰地标记,而不是被攻击者自己恶意地贴上标签。我们的策略假设攻击者不了解训练数据,而是了解模型及其参数。攻击者的目标是当网络在包含中毒实例的增强数据集上进行重新训练后,使重新训练的网络将一个特定测试实例从一个类错误地分类为她选择的另一个类。除了目标的预期预测错误之外,受害的分类器的性能下降并不明显。...原创 2019-11-03 11:22:36 · 2416 阅读 · 0 评论 -
MarkText期末报告
Mark TextBy Zhewei Du, Ruijing Guo, Ke Qian, Wenke HuangGroup 9School of Computer Science Wuhan UniversityAbstractMark Text is a simple and elegant open-source markdown editor that focused on sp...原创 2019-10-11 20:59:26 · 3226 阅读 · 0 评论 -
2018s&p Manipulating Machine Learning Poisoning Attacks and Countermeasures for Regression Learning
操纵机器学习:回归学习的中毒攻击与对策论文的出发点不同对抗模型下的中毒线性回归问题系统研究从现有的中毒攻击分类入手,提出了一个专门针对回归模型的优化框架设计了一种快速的统计攻击,对学习过程的知识要求低设计一种新的鲁棒防御算法(TRIM),该算法在很大程度上优于现有的稳健回归方法很强的鲁棒性和恢复能力保证了算法的收敛性,MSE设置了上界· 在四个回归模型和来自不同领域的几个数据集上广...原创 2019-09-26 08:37:22 · 783 阅读 · 0 评论 -
certified-defenses-for-data-poisoning-attacks
数据中毒攻击的认证防御出发点:问题的重要性;以用户提供的数据为训练对象的机器学习系统容易受到数据中毒攻击,恶意用户注入错误的训练数据,目的是破坏所学习的模型。虽然最近的工作提出了一些攻击和防御。在面对意志坚定的攻击者时,最坏的情况是失去防御,对此我们知之甚少以前工作有何不足:我们注意到,尽管生成对抗网络是安全的,但它们并不关注安全性,而是为训练生成模型提供了一个博弈论目标。//在均值和...原创 2019-09-26 08:38:12 · 1199 阅读 · 0 评论 -
Towards Poisoning of Deep Learning Algorithms with Back-gradient Optimization
出发点:问题的重要性如今许多在线服务都依赖于机器学习从外界数据中提取有用的信息,这使得学习算法面临数据中毒的威胁, 值得注意的是,机器学习本身可能是安全链中最薄弱的一环,因为他的漏洞可以被攻击者利用来窃取整个系统的基础设施以前工作有何不足到目前为止,由于用于优化中毒点的基于梯度的过程的固有复杂性(又称对抗性训练示例),这些攻击只针对有限种类的二进制学习算法设计,同时以前工作只考虑了两种学习...原创 2019-09-26 08:38:56 · 887 阅读 · 0 评论 -
Model-Reuse Attacks on Deep Learning Systems
问题的重要性机器学习系统是大型、复杂的,开发人员倾向于通过重用一系列通常经过预先训练的原始模型来构建ML系统,这种“即插即用”的模式加快了ML系统的开发周期,但不利的一面是大多数原始模型都是由第三方提供,它们缺乏标准化或规范化调整,带来严重的安全影响,事实上,在软件开发中重用外部模块的风险早就被人们认识,相反,对于采用原始模型作为ML系统的构建块的安全性影响,我们知之甚少场景及假设:这...原创 2019-10-03 10:13:53 · 615 阅读 · 2 评论 -
Stronger Data Poisoning Attacks Break Data Sanitization Defenses
Stronger Data Poisoning Attacks Break Data Sanitization Defenses关于data sanitization的介绍数据消毒?A data sanitization method is the specific way in which a data destruction program or file shredder overw...原创 2019-10-03 10:14:51 · 502 阅读 · 1 评论 -
NeurIPS2019-Learning to Confuse_ Generating Training Time Adversarial Data with Auto-Encoder 的理解
Start pointImportanceThe task of adding imperceivably noises to the training data in order to confuse any corresponding classifier trained on it by letting it to make the wrong predictions as much a...原创 2019-09-11 19:52:55 · 664 阅读 · 0 评论