![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
文章平均质量分 87
MezereonXP
A developer ,love life, love saber
展开
-
针对语义分割的真实世界的对抗样本攻击
针对语义分割的真实世界的对抗样本攻击来自于论文"Evaluating the Robustness of Semantic Segmentation for Autonomous Driving against Real-World Adversarial Patch Attacks"代码在[github](https://github. com/retis-ai/SemSegAdvPatch)有开源,各位感兴趣的可以自己去跑跑看。文章的主要贡献:提出了一种像素级别的交叉熵误差,用于生成强大的原创 2022-05-22 21:36:06 · 782 阅读 · 0 评论 -
将恶意软件嵌入到神经网络中
将恶意软件嵌入到神经网络中这次介绍一篇名为“EvilModel: Hiding Malware Inside of Neural Network Models ”的文章。该文章主要描述了一种隐式的传播恶意软件的方法,通过对神经网络的权重进行修改实现恶意软件的传播。本质上,是选取模型中的某些“冗余”的层,对其中的神经元的权重进行替换,对于每一个权重,替换其最后的3位比特位作为恶意软件的某个3个比特,进而实现恶意软件的隐式传输。这里所提及的冗余,其实是通过测试,查看对正确率的影响程度,选择那些对正确率原创 2021-07-30 15:38:04 · 510 阅读 · 0 评论 -
利用超球嵌入来增强对抗训练
利用超球嵌入来增强对抗训练这次介绍一篇NeurIPS2020的工作,“Boosting Adversarial Training with Hypersphere Embedding”,一作是清华的Tianyu Pang。该工作主要是引入了一种技术,称之为Hypersphere Embedding,本文将其称作超球嵌入。该方法和现有的一些对抗训练的变种是正交的,即可以互相融合提升效果。这里指的对抗训练的变种有 ALP, TRADE 等对抗训练框架首先,如下图所示,我们列出来AT以及其变种,用原创 2021-07-08 15:13:00 · 454 阅读 · 0 评论 -
用于类别增量学习的动态可扩展表征 -- DER
用于类别增量学习的动态可扩展表征 – DER文章目录用于类别增量学习的动态可扩展表征 -- DER类别增量学习表征学习/度量学习基本流程实验分析这次介绍一种类似表征学习的训练方法,用于类别的增量学习,来自于CVPR2021的一篇文章"DER: Dynamically Expandable Representation for Class Incremental Learning"。首先,我们需要补充一些预先的概念,比如类别增量学习以及表征学习。类别增量学习传统的分类学习中,我们通常在训练的时候就有原创 2021-06-08 17:44:08 · 1197 阅读 · 0 评论 -
Meta Learning 简述
Meta Learning 简述先来回顾一下,传统的机器学习或者说深度学习的流程:确定训练和测试数据集确定模型结构初始化模型参数(通常是一些惯用的随机分布)初始化优化器类型和参数进行训练,直到收敛Meta Learning的目的是去学习一些在步骤2,3,4的参数,我们称之为元知识(meta- knowledge)不妨对其进行形式化假设数据集为 D={(x1,y1),...,(xN,yN)}D = \{(x_1,y_1),...,(x_N,y_N)\}D={(x1,y1),...,(原创 2021-05-29 18:48:14 · 297 阅读 · 0 评论 -
用全连接层替代掉卷积 -- RepMLP
用全连接层替代掉卷积 – RepMLP这次给大家介绍一个工作, “RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition”,是最近MLP热潮中的一篇有代表性的文章。其github链接为https://github.com/DingXiaoH/RepMLP,有精力的朋友可以去跑一跑,看一看代码。我们先回顾一下,先前的基于卷积网络的工作。之所以卷积网络能够有效,一定程度上是其对空间上的原创 2021-05-29 15:21:04 · 1533 阅读 · 0 评论 -
应对长尾分布的目标检测 -- Balanced Group Softmax
应对长尾分布的目标检测 – Balanced Group Softmax文章目录应对长尾分布的目标检测 -- Balanced Group Softmax长尾分布的数据以往应对长尾分布的方法Balanced Group Softmax效果评估这次给大家介绍一篇CVPR2020的文章,题为“Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax”,主要解决目标检测中的长尾数据分布问原创 2021-05-19 20:35:17 · 2420 阅读 · 0 评论 -
用MLP代替掉Self-Attention
文章目录用MLP代替掉Self-AttentionTransformer中的Self-Attention机制外部注意力 (External Attention)实验分析图像分类语义分割图像生成用MLP代替掉Self-Attention这次介绍的清华的一个工作 “Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks”用两个线性层代替掉Self-Attention机制,最终实现了在保持精度的同时原创 2021-05-13 21:36:25 · 1814 阅读 · 0 评论 -
如何利用对抗样本来提升精度
文章目录介绍对抗训练的影响加一个BN试一试实验评估结论介绍这次介绍一篇CVPR2020的工作,Adversarial Examples Improve Image Recognition,该工作主要揭示了对抗样本对图像分类的促进作用。关于对抗样本,可以查看我的这篇文章对抗训练的影响对抗样本一直以来大家对其印象都不好,使分类器出错,难以进行防御,白盒攻击下的防御大多数难以真正完全防御住。先来看看目前相对比较有效的防御,即对抗训练,如下图所示:灰色代表着对抗训练,橘色代表对抗训练加上参数调优原创 2021-04-08 21:15:57 · 906 阅读 · 1 评论 -
暴力的黑盒对抗样本攻击 -- ZOO
文章目录介绍强行计算梯度结果分析介绍这次来介绍一篇CCS Workshop 2017的工作,“ZOO: Zeroth Order Optimization Based Black-box Attacks to Deep Neural Networks without Training Substitute Models”这是一个黑盒的对抗样本攻击,如上图所示,攻击者只能进行输入,并且获得置信度的输出,不能对模型进行反向传播。有关于白盒的对抗样本攻击,可以查看我这篇文章不能反向传播,会导致对抗原创 2021-04-06 20:29:33 · 2867 阅读 · 0 评论 -
如何躲避针对后门攻击的检测
介绍这次介绍的是一篇来自于EuroS&P-2020的文章,“Bypassing Backdoor Detection Algorithms in Deep Learning”作者中有比较著名的大佬Reza Shokri。该工作主要针对Wang等人提出来的Neural Cleanse。关于后门攻击,您可以参考我这篇文章。关于Neural Cleanse,您可以参考我这篇文章。开门见山该工作主要是提出一种攻击,用来躲避后门检测的,针对Wang等人提出来的神经元裁剪方法,给出了一种攻击策略原创 2021-04-03 21:00:57 · 473 阅读 · 0 评论 -
利用Transformer来进行目标检测和语义分割
介绍这次介绍的是Facebook AI的一篇文章“End-to-End Object Detection with Transformers”恰好最近Transformer也比较热门,这里就介绍一下如何利用Transformer来进行目标检测以及语义分割。关于Transformer,可以参考我的这篇文章。这里我简要地介绍一下Transformer,这是一个用于序列到序列建模的模型架构,被广泛应用于自然语言翻译等领域。Transformer抛弃了以往对序列建模的RNN形式的网络架构,引入了注意力机制,原创 2021-04-01 17:48:30 · 2663 阅读 · 0 评论 -
贝叶斯优化详解
关于参数搜索参数搜索是一个开放的问题,假设我们拥有一个函数f(x;θ)f(x;\theta)f(x;θ),该函数的性质完全由参数θ\thetaθ决定,那么,我们就可以通过对参数进行搜索,得到一个满足我们要求的函数。这里我所说的满足要求,可以是拟合的误差小于某个阈值,亦可以是其他当选取一个参数θc\theta_cθc之后(这里下标c表示候选,candidate),我们会对这个函数进行一个评价,这里的评价是指,评价这个函数是不是符合我们的要求。一般来说,这个评价,或者说成评估的过程,往往是代价比较原创 2021-03-27 16:28:37 · 2078 阅读 · 1 评论 -
浅谈深度学习模型中的后门
关于深度学习安全方面,粗浅地可以分为两大块:对抗样本(Adversarial Example)以及后门(Backdoor)关于对抗样本可以查看我之前的文章 ----对抗样本攻击这一次我们主要关注深度学习里面的后门攻击。所谓后门,那就是一个隐藏着的,不轻易就被发现的一个通道。在某些特殊情况下,这个通道就会显露出来。那么在深度学习之中,后门又是怎样的呢?我这里不妨以图像分类任务作为一个例子,我们手里有一张狗的照片,通过分类器,以99%的置信度(confidence)被分类为狗。如若我在这张图像上添加一个图原创 2021-03-21 20:55:02 · 2798 阅读 · 4 评论 -
基于白盒表征的图像卡通化
取自CVPR2020的一篇文章Learning to Cartoonize Using White-box Cartoon Representations图像卡通化,即是将自然拍摄到的图片转化成卡通风格的图片,属于一种风格迁移。如上图所示,左图为真实图片,右图为卡通化的结果。风格迁移很久之前就被人提出来了,比如2016年BAIR实验室提出来的Pix2Pix,以及之后针对非pair数据所提出来的CycleGAN。Pix2Pix文章: Image-to-Image Translation with原创 2021-03-15 15:23:06 · 537 阅读 · 0 评论 -
时序数据异常检测(2)指数平滑方法
上文我们使用LOF-ICAD方法实现了时序数据的异常检测, 这次我们介绍一种更为常见的方法——-指数平滑.指数平滑的方法, 其原理就是通过拟合出一个近似的模型来对未来进行预测, 我们可以通过这个预测来和实际的值进行比较, 如果差距过大, 我们就可以判定这个点是异常的.首先我们介绍一下一阶指数平滑的算法一阶指数平滑算法这里给出一些符号的定义: 1. 序列长度记为n, 参数记为α...原创 2019-06-12 20:46:57 · 2342 阅读 · 0 评论 -
图像增强的几个方法以及Matlab代码
1. 灰度线性变换灰度线性变换, 是一种空域的方法, 直接对每一个像素的灰度值进行操作假设图像为III则其中每一个像素点的灰度值为I(x,y)I(x,y)I(x,y)我们利用简单的线性变换可以得到:I(x,y)∗=k∗I(x,y)+bI(x,y)^*=k*I(x,y)+bI(x,y)∗=k∗I(x,y)+b取k=1,b=16k=1,b=16k=1,b=16可以得到这里给出关键代...原创 2018-09-24 23:39:55 · 43814 阅读 · 6 评论 -
Energy-efficient Amortized Inference with Cascaded Deep Classifiers论文笔记
Energy-efficient Amortized Inference with Cascaded Deep Classifiers论文笔记0. 概述深度神经网络在许多AI任务中取得了卓越的成功, 但是通常会造成高的计算量和能量耗费, 对于某些能量有约束的应用, 例如移动传感器等.我们提出了一种新的框架来, 该框架能够同时优化预测准确度以及能量耗费, 利用该框架来解决以上这个问题. 虽然该...原创 2018-10-16 23:24:03 · 393 阅读 · 0 评论 -
强化学习笔记(1)
基于Simple statistical gradient-following algorithms for connectionist reinforcement learning0. 概述该文章提出了一个关于联合强化学习算法的广泛的类别, 针对包含随机单元的有连接的网络, 这些算法, 称之为强化算法, 看上去像是沿着某个方向对权重进行调整, 依赖于期望强化的梯度, 比如在即时强化的任务中和...原创 2018-10-20 17:38:23 · 1388 阅读 · 0 评论 -
强化学习笔记(2)
根据 Simple statistical gradient-following algorithms for connectionist reinforcement learning承接上一篇笔记(强化学习笔记(1))5. 段落式(Episodic)的REINFORCE算法该部分主要是将我们已有的算法进行扩展, 扩展到拥有temporal credit-assignment compone...原创 2018-10-20 22:35:32 · 418 阅读 · 0 评论 -
Procedural Noise Adversarial Examples for Black-Box Attacks on Deep Neural Networks论文笔记
Procedural Noise Adversarial Examples for Black-Box Attacks on Deep Neural Networks论文笔记0. 概述如今一些深度神经网络对于一些对抗性样本(Adversarial sample)是弱势的, 对抗性样本就是指我们对输入进行特定的改变, 通过原有的学习算法最终导致整个网络内部出现误差, 这属于攻击的一种, 然而, ...原创 2018-11-25 07:01:06 · 2406 阅读 · 0 评论 -
When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks论文笔记
When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks论文笔记该论文主要是介绍了一个FAIL模型, 即一个通用框架用来分析针对机器学习系统的真实攻击, 同时也提出了一种有目标的投毒攻击, 称作StingRay, 使得该攻击能击溃现存的防御, 通过观察FAIL的维度...原创 2019-01-11 00:08:27 · 618 阅读 · 0 评论 -
凸优化笔记(1) 引言
#凸优化笔记(1) 引言文章目录1. 引言1.1 数学优化1.1.1 应用1.1.2 求解优化问题1.2 最小二乘和线性规划1.2.1 最小二乘问题1.2.2 线性规划1.3 凸优化1.3.1 求解凸优化问题1.3.2 使用凸优化1.4 非线性优化1.4.1 局部优化1.4.2 全局优化1.4.3 非凸问题中凸优化的应用1. 引言1.1 数学优化优化问题可以写成如下形式minimize&...原创 2019-03-11 16:42:51 · 241 阅读 · 0 评论 -
分布式深度学习GPU管理之Tiresias
来自论文Tiresias:A GPU Cluster Manager for Distributed Deep Learning概述给一个庞大的GPU集群,在实际的应用中,现有的大数据调度器会导致长队列延迟和低的性能,该文章提出了Tiresias,即一个GPU集群的调度器,专门适应分布式深度学习任务,该调度器能够有效率的调度并且合适地放置深度学习任务以减少他们的任务完成时间(JCT(Job...原创 2019-03-27 19:07:26 · 3830 阅读 · 0 评论 -
教你用java实现时序数据异常检测(1)LOF-ICAD方法
数据的异常检测是一个难题, 面临许多挑战, 其中包括: - 定义一个正常表现的范围是比较困难的, 异常值和正常值有时候边界并不是特别明显 - 某些恶意行为会伪装成正常值, 难以发现 - 大多数领域的正常行为只能在一段时间内有效, 对于未来的普适性并不是很高 - 对于异常的概念会由于应用的不同而不同 - 缺少带有标记的数据 - 数据的噪声可能有较大的影响分析异常数据有多种方案, 包括...原创 2019-06-12 20:46:35 · 2874 阅读 · 0 评论