对抗攻击中的模型融合(logits层)

最新推荐文章于 2024-08-08 17:45:51 发布
最新推荐文章于 2024-08-08 17:45:51 发布
阅读量250 收藏 1
点赞数 1
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/atregret/article/details/130454769
版权

2023年5月1日

困扰了我许久的问题，突然有灵感了。不知道是否正确，先记下来，稍后进行验证。

背景：

最近在研究人脸对抗样本生成——黑盒迁移攻击。

        许多资料说模型融合可以提高对抗样本的迁移性，即对黑盒模型的攻击成功率；但是他们没有具体说如何融合。

模型融合有三种：logits层融合(softmax前)、损失函数融合、概率分布层融合(softmax后)

对抗样本是基于梯度添加扰动，假如我进行logits层融合，那么可以建模如下：

  •  对于一个输入图像x，兵分两路进行卷积；
  • 然后在logits层合并为一路，输出结果。

 

困惑

        如果是进行判别任务，这样确实有效。但是我要基于梯度生成对抗样本，如此多路并行，然后会合的做法，可以获得梯度吗？

可能的解释

是可以获得梯度的。

举个例子

  • 输入x
  • 经过一路计算，   得到2x+8，对x导数为2
  • 经过另一路计算，得到5x-4，对x导数为5
  • 两路合并，           得到7x+4，对x导数为7

如此看来，确实没问题！！

待我验证完成，再来更新：D

        

atregret
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Logits向量的JSMA对抗样本攻击改进算法.docx
06-17
### 基于Logits向量的JSMA对抗样本攻击改进算法 #### 一、引言及背景 自20世纪中期以来，神经网络技术取得了突飞猛进的发展，特别是深度神经网络（Deep Neural Networks, DNNs）的出现极大地推动了机器学习领域的...
关于卷积网络的模型融合－－－使用softmax实现
jiachen0212的博客
11-07 4802
我用的是很low的方法，就是， 我做的是图像分割嘛，也就是图像的每个像素点的分类。 分别对两个网络进行test，test的图像过一遍模型后，会得到图像的每个像素点的logits值（解释一下，如果是 0 1 分割，那么每个像素点就相当于有两种可能值，mxn的图像，就会得到mxnx2的一个矩阵，这个2，就是每个像素点属于 0 或者 1 类别 的概率可能值 ），然后还得做一个softmax（）操作，
NER实战（数据处理+模型分析（词典匹配，统计ML，DL）+评价标准+模型融合）
DecafTea的博客
02-18 3553
0、NER 简介 多特征：实体识别不是一个特别复杂的任务，不需要太深入的模型，那么就是加特征，特征越多效果越好，所以字特征、词特征、词性特征、句法特征、KG表征等等的就一个个加吧，甚至有些中文 NER 任务里还加入了拼音特征、笔画特征。。？心有多大，特征就有多多 多任务：很多时候做 NER 的目的并不仅是为了 NER，而是服务于一个更大的目标或系统，比如信息抽取、问答系统等等。如果把整个大任务做一个端到端的模型，就需要做成一个多任务模型，把 NER 作为其中一个子任务；另外，单纯的 NER 也可以做成多任务
深度学习框架_TensorFlow_TensorFlow中logits的理解
欢迎大家关注我
07-04 685
logits可以理解为未进入softmax/sigmoid的概率，一般是全连接的输出，位于softmax/sigmoid之前，是softmax/sigmoid的输入。 例如： logits=tf.matmul(X,W)+biaslogits = tf.matmul(X,W) + biaslogits=tf.matmul(X,W)+bias Yout=tf.nn.softmax(logits)Y_{out} = tf.nn.softmax(logits)Yout​=tf.nn.softmax(logits)
ImageNet图像分类对抗攻击-方案整理
lucky_kai的博客
01-22 2488
公众号:DLCV 赛题地址：https://tianchi.aliyun.com/competition/entrance/231761/forum 赛题介绍：按照最大浮动32干扰的话，最高分为5。 方案关键词： 模型ensemble；多尺度ensemble；数据增强。 第一名(Score:4.4) 在最初开始，从 ImageNet 数据集中挑选出 1000张可以被线下防御模型正确分类...
模型融合—— stacking详细讲解
热门推荐
飘过的春风
07-31 5万+
“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。” stacking的过程有一张图非常经典，如下： 虽然他很直观，但是没有语言描述确实很难搞懂。 上半部分是用一个基础模型进行5折交叉验证，如：用XGBoost作为基础模型Model1，5折交叉验证就是先拿出四折作...
基于python的中文预训练RoBERTa模型型
03-21
微调是指在预训练模型的基础上，针对特定任务添加额外的层（如全连接层）并用特定任务的数据集重新训练模型。例如，对于文本分类，可以在RoBERTa模型后面添加一个分类头： ```python from transformers import ...
pytorch模型预测结果与ndarray互转方式
12-23
result=logits.data.cpu().numpy() / logits.cpu().numpy() #如果模型跑在cpu上 result=logits.data.numpy() / logits.numpy() 将矩阵转为tensor： np_arr = np.array([1,2,3,4]) tensor=torch.from_numpy(np_arr) ...
大模型使用教程和技巧.pdf
07-27
文本生成是大模型应用中最常见且直观的任务之一。通过训练大量文本数据，大模型能够学习到语言的结构和模式，并根据这些模式生成新的文本内容。下面将通过示例代码展示如何使用GPT-2模型进行文本生成： ```python ...
Standardized Max Logits.pdf
01-11
标准化最大 Logits 算法在城市场景分割中的应用 本文介绍了一种简单 yet effective 的方法来检测城市场景分割中的意外障碍，即 Standardized Max Logits 算法。该方法可以 identify unexpected road obstacles 在...
(BO)Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码
最新发布
small_ccb的博客
08-08 281
Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码。2️⃣、评价指标包括:R2、MAE、MSE、RMSE等，图很多，符合您的需要。4️⃣、赠送测试数据集，可以直接运行源程序。替换你的数据即可用 适合新手小白。1️⃣、运行环境要求MATLAB版本为2018b及其以上。数据格式为excel！3️⃣、代码中文注释清晰，质量极高。需要其他的都可以定制！
深度学习 —— 个人学习笔记14（ResNet、DenseNet）
Springer的博客
08-06 363
本文章为个人学习使用，版面观感若有不适请谅解，文中知识仅代表个人观点，若出现错误，欢迎各位批评指正。文中部分知识参考：B 站 —— 跟李沐学AI；
【深度学习】【语音】TTS，Matcha-TTS，测试效果，训练中文，chinese
q742971636的博客
08-08 150
即使使用较小的数据集（特别是如果这是一个录音棚录制的朗读语料库），也可以有效。然而，在这种情况下，微调通常会比从头开始训练效果更好，因此，你可以先在更大的数据集上进行训练，然后对你的特定数据集进行微调。一般来说，我更倾向于将所有音频文件重新采样到 22050 采样率，而不是更改音频参数，因为这样可以解决寻找不同声码器的问题。（同样，我没有在大多数其他数据集上进行训练的经验，但你可以在这里更改音素化语言。中添加的步骤为你的数据集生成均值和标准差（以便更好的标准化）。的默认值，并覆盖你特定数据集所需的部分。
基于深度学习的Dst 预报模型
u014546828的博客
08-07 914
The Astrophysical Journal Supplement Series, 248:14 (11pp), 2020 MayPrediction of the Dst Index with Bagging Ensemble-learning Algorithm (iop.org)AbstractThe Dst index is a commonly geomagnetic index used to measure the strength of geomagnetic activity. Th
[区间概率预测]CNN-BiLSTM-Attention-ABKDE多变量时序预测 基于改进自适应核密度估计实现区间预测
small_ccb的博客
08-08 280
【原创区间概率预测】CNN-BiLSTM-Attention-ABKDE多变量时序预测 基于卷积神经网络-双向长短期记忆神经网络-注意力机制结合自适应带宽核函数密度估计的多变量时序预测【点预测+概率预测+核密度估计】1️⃣、结果包含R2、MAE、RMSE、MAPE、区间覆盖率picp、区间平均宽度百分比pinaw等，置信区间可根据需要调整。CNN-BiLSTM-Attention-ABKDE多变量时序预测 基于改进自适应核密度估计实现区间预测。数据格式为Excel!3️⃣、代码中文注释清晰，质量极高。
深度学习8--无监督学习
m0_63860007的博客
08-07 891
无监督学习是机器学习的一个分支，用于发现数据中的特定模式。无监督算法的数据都是没有标签的，也就是说，只有x_train,但是没有给y_train。在无监督的学习中，算法需要自行寻找数据中的结构。传统的无监督学习主要有3种类型。发现数据中共同出现的概率。比如数据有ABC 3个特征，经过分析发现当A出现时，B一定出现，这样A和B之间存在共现的关系。。降低维度。同样地，假设数据有A、B、C 3个特征，通过降维，把3列特征降维成两列特征DE。在一定程度上，
使用LoRA微调LLaMA3
weixin_47552266的博客
08-07 1043
在这个案例中，我们将使用LoRA微调LLaMA3模型，进行一个文本分类任务。我们将使用Hugging Face的Transformers库来完成这个过程。
深度学习四大框架之争(Tensorflow、Pytorch、Keras和Paddle)
FeelTouch Labs
08-08 1927
近几年，随着深度学习指数级发展，深度学习的框架使用在人工智能领域也起着举足轻重的作用，这其中包括Tensoflow、Pytorch、Keras、paddle等等。那么面对这些框架，究竟使用哪个呢？其实，这几个框架都有各自的优点和缺点，大家了解后可以根据自己的情况进行选择；现在Keras API都融入tensorflow2.0进去了，因此学tensorflow就行，而paddle是百度推出的，且资料很资源最多，百度也开源了许多优秀的模型，值得推荐。（个人推荐tf、torch、paddle）
Nature Medicine：基于图像的深度学习和语言模型用于原发性糖尿病护理
u014546828的博客
08-07 856
为了解决糖尿病护理中存在的差距，我们开发了一种创新的系统DeepDR-LLM，它将一个LLM模块和一个基于图像的DL模块结合在一起，提供全面的初级糖尿病护理和DR筛查方法。糖尿病视网膜病变（DR）是最常见的糖尿病特定并发症，影响30-40%的患有糖尿病的人群11,12,13，并且仍然是经济活跃、工作年龄成人失明的主要原因11,14,15。然而，在低资源环境下，由于基础设施、人力资源和可持续性具有成本效益的DR筛查计划匮乏，往往忽视了DR筛查在低收入国家中不足之处。
cnn模型生成logits.npy
03-28
在这个例子中，我们首先加载了数据集，然后定义了一个简单的CNN模型。我们使用MNIST数据集来进行训练和测试。然后，我们编译模型，使用Adam优化器和稀疏分类交叉熵损失函数。我们训练模型，使用5个epochs进行训练。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值