机器遗忘论文解读:Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks Using anIncompetent Teacher

最新推荐文章于 2024-11-15 21:46:47 发布

Hongyi-

最新推荐文章于 2024-11-15 21:46:47 发布

阅读量921

点赞数 22

文章标签： dnn machine learning

本文链接：https://blog.csdn.net/deliciouspoi/article/details/135857628

版权

Research questions:

forgetting single-class or multiple classes of data
forgetting a cohort of data from a single class
forgetting a random subset of data from multiple classes
how well the unlearned model has generalized the forgetting?

遗忘单个类别的数据:假设模型被训练识别CIFAR-10中的所有10个类别。现在出于某种原因，我们需要从模型中完全遗忘掉“猫”这一类别的所有数据。

遗忘单个类别中的一个数据群体:在CIFAR-10中，我们想要遗忘“狗”这一类别中特定的一组图像，可能是因为这些图像不再被认为是“狗”或由于其他原因。

遗忘多个类别中的随机子集:由于数据隐私的考虑，我们需要从模型中移除多个类别中特定的一些图

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Hongyi-

关注关注

22
点赞
踩
22

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an Incompetent Teacher

weixin_45922916的博客

05-10

341

Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an Incompetent Teacher

论文阅读笔记——Handcrafted Backdoors in Deep Neural Networks

Wendy_094的博客

10-21

520

模型外包或者使用预训练模型容易导致后门攻击。之前注入后门的方法局限于投毒。作者提出一种新的攻击方法，直接操作预训练模型的参数来注入后门。有更大的自由度。不能通过直接的方法如统计分析，在模型参数中添加随机噪声，或在一定范围内裁剪它们的值来防御。这种手工操作的方法还可以和其他方法结合起来，例如联合优化触发器模式，以有效地将后门注入到复杂的网络中——Meet-in-the-Middle Attack（MITM Attack）。

2 条评论您还未登录，请先登录后发表或查看评论

The Robustness of Deep Networks A geometrical perspective论文解读

kking_edc的博客

10-25

413

sci论文地址 Introduction 神经网络近些年已经在许多场景中得到了应用，但是一些神经网络的基础属性还没有被理解，这也是近些年研究的重点。更具体来说，神经网络对各种类型perturbation的robustness受到了很大的关注。图1阐述了深度神经网络对small additive perturbation的脆弱性： A dual phenomenon was observed in [3] ...

[论文学习]Online Deep Learning: Learning Deep Neural Networks on the Fly

qq_44459787的博客

01-14

1万+

@misc{sahoo2017online, title={Online Deep Learning: Learning Deep Neural Networks on the Fly}, author={Doyen Sahoo and Quang Pham and Jing Lu and Steven C. H. Hoi}, year={2017}, eprint={1711.03705}, archivePrefix={arXiv}, primaryClass={cs.LG} }

Rotation Equivariant Networks for Tracking论文解读

Soonki的博客

06-16

304

1. Introduction The task of visual object tracking with Siamese networks, referred as Siamese tracking, transforms the problem of tracking into similarity estimation between a template frame and sampled region from a candidate frame. 孪生网络是把追踪任务描述成templat

2019_WWW_Dual graph attention networks for deep latent representation of multifaceted social effect

weixin_46645827的博客

12-22

1904

Dual graph attention networks for deep latent representation of multifaceted social effects in recommender systems—(The World Wide Web Conference, 2019.05)-- Qitian Wu, Hengrui Zhang, Xiaofeng Gao, Peng He, Paul Weng, Han Gao, Guihai Chen 论文下载地址：https://dl

Quantization for Rapid Deployment of Deep Neural Networks

既然选择了远方便只顾风雨兼程 - 永强

07-02

783

Quantization for Rapid Deployment of Deep Neural Networks Jun Haeng Lee, Sangwon Ha, Saerom Choi, Won-Jo Lee, Seungwon Lee quantization [ˌkwɒntɪ'zeɪʃən]：n. 量子化，分层，量化 Korea [kə'rɪə]：n. 韩国，朝鲜 South Korea，Republic of Korea：大韩民国，韩国 Gyeonggi-do，province surroun

七月论文审稿GPT第2.5和第3版：分别微调GPT3.5、Llama2 13B以扩大对GPT4的优势

结构之法算法之道

02-04

4512

我司自去年7月份成立大模型项目团队以来，至今已有5个项目组，其中所有项目均为会对外上线发布的商用项目，而论文审稿GPT至今在过去的半年已经迭代两个版本，其中第二版的效果甚至超过了GPT4(详见《)，为了持续累积与原始GPT4的优势，我们如今正在迭代第2.5版本：包括对GPT3.5 turbo 16K的微调以及llama2 13B的微调，本文也因此而成。

《Relational inductive biases, deep learning, and graph networks》图网络论文解读

热门推荐

handsome_happy的博客

06-15

1万+

研究背景：机器学习界有三个主要学派，符号主义（Symbolicism）、连接主义（Connectionism）、行为主义（Actionism）。符号主义的起源，注重研究知识表达和逻辑推理。经过几十年的研究，目前这一学派的主要成果，一个是贝叶斯因果网络，另一个是知识图谱。贝叶斯因果网络的旗手是 Judea Pearl 教授，2011年的图灵奖获得者。但是据说 2017年 NIPS 学术会议上，老爷子...

Rspo1/Wnt signaling molecules are sufficient to induce ovarian differentiation in the XY Medaka (Oryzias latipes)

03-04

Rspo1/Wnt信号分子在XY青鳉中诱导卵巢分化，周林燕，Tapas Charkraborty，在哺乳动物中，Wnt/β-catenin信号途径的激活因子R-spondin1（Rspo1）被证明位于雌性性别决定通路的上游。然而，在非哺乳动物中，在卵巢分�

Synchronization transitions on small-world neuronal networks: Effects of information transmission delay and rewiring probability

02-20

We show that short delays induce zigzag fronts of excitations, whereas intermediate delays can further detriment synchrony in the network due to a dynamic clustering anti-phase synchronization ...

[异常检测]Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised

supergxt的博客

09-16

1102

源码地址：https://github.com/donggong1/memae-anomaly-detection 问题提出 ''It has been observed that sometimes the autoencoder “generalizes” so well that it can also reconstruct anomalies well, leading to the miss detection of anomalies ‘’ “The assumption that anoma

【视频讲解】Python深度神经网络DNNs-K-Means（K-均值）聚类方法在MNIST等数据可视化对比分析...

拓端研究室TRL

11-15

426

全文链接：https://tecdat.cn/?p=38289分析师：Cucu Sun近年来，由于诸如自动编码器等深度神经网络（DNN）的高表示能力，深度聚类方法发展迅速。其核心思想是表示学习和聚类可以相互促进：好的表示会带来好的聚类效果，而好的聚类为表示学习提供良好的监督信号（点击文末“阅读原文”获取完整代码数据）。关键问题包括：1）如何优化表示学习和聚类？2）是否应始终考虑自动编码器的重建损失...

DNN云边协同工作汇总(持续更新)

Java开发，人工智能，边缘计算，致力于掌握前沿技术

11-13

881

在进行调度的过程中可以使用垂直划分和水平划分，也可以直接将一个DNN任务作为划分单位。云边协同旨在充分利用云边端资源完成DNN任务的推理计算，将整体模型进行划分后，利用终端设备、边缘服务器以及云计算中心的计算资源，将DNN划分为多个部分，分别部署在不同设备上进行推理。最优的分区点和边缘选择取决于特定深度学习架构的推理成本模型和从设备到边缘服务器的通道模型，这在实际的MEC中是具有挑战性的。DADS使用图论中的最大流最小割算法对DAG拓扑结构进行了分析，解决了一部分含有拓扑结构的模型的划分问题。

opencv4:基于opencv4+dnn的多batch推理

qianxun

11-15

289

OpenCV提供了大量的计算机视觉、图像处理和模式识别的算法，包括实时图像处理、视频分析、特征检测、目标跟踪、人脸识别、物体识别、图像分割、光流法、立体视觉、运动估计、机器学习和深度学习等。OpenCV中的深度学习模块（DNN）只提供了推理功能，不涉及模型的训练，支持多种深度学习框架，比如TensorFlow，Caffe,Torch和Darknet。DNN模块提供了内建的CPU和GPU加速，无需依赖第三方库，若项目中之前使用了OpenCV，那么通过DNN模块可以很方便的为原项目添加深度学习的能力。

Unet++改进24：添加DualConv||轻量级深度神经网络的双卷积核

m0_51530640的博客

11-12

192

卷积神经网络(CNN)架构通常对内存和计算要求很高，这使得它们在硬件资源有限的嵌入式系统中不可行。我们提出了双卷积核(DualConv)来构建轻量级深度神经网络。DualConv结合3 × 3和1 × 1卷积核同时处理相同的输入特征映射通道，并利用群卷积技术高效排列卷积滤波器。DualConv可以在任何CNN模型中使用，如VGG-16和ResNet-50进行图像分类，你只看一次(YOLO)和R-CNN进行对象检测，或完全卷积网络(FCN)进行语义分割。

ANN DNN CNN SNN

qq_43298381的博客

11-12

505

这些缩写代表了不同类型的人工神经网络：• ANN（Artificial Neural Network）：人工神经网络，是模仿人脑神经元之间连接和交互方式的计算模型。它由节点（或称为“神经元”）组成的网络，这些节点通过加权连接相互连接。ANN可以用于解决分类、回归、模式识别等多种问题。• CNN（Convolutional Neural Network）：卷积神经网络，是一种深度学习架构，特别适用于处理具有明显网格状拓扑结构的数据，如图像（2D网格）和音频（1D网格）。

深度神经网络

m0_60541499的博客

11-14

978

每一层的神经元负责学习不同级别的特征，随着层数的增加，网络可以逐步从简单的局部特征（如图像中的边缘）学习到更复杂的全局特征（如面部各个部位或对象的整体结构）。深度神经网络的强大之处在于它可以从简单的特征（如边缘）开始，逐层学习到更复杂的模式。这些超参数通常是通过手动设置的，并且会影响到模型的训练效果和最终的性能，因此它们被称作超参数。当实现深度神经网络的时候，一个常用的检查代码是否有错的方法就是过一遍算法中矩阵的维数。指的是神经网络的层数。更深的网络可以捕捉到更多的层级特征，逐步构建出复杂的表示。

深度神经网络DNN反向传播BP算法公式推导