NIPS2018深度学习(26)|亮点:代表样本选择;上下文卷积网络;反馈编码(论文及代码)...

最新推荐文章于 2024-03-04 11:02:05 发布
VIP文章 最新推荐文章于 2024-03-04 11:02:05 发布
阅读量1.1k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hestendelin/article/details/101546809
版权

[1] Representer Point Selection for Explaining Deep Neural Networks

Chih-Kuan Yeh, Joon Sik Kim, Ian E.H. Yen, Pradeep Ravikumar

Carnegie Mellon University

https://papers.nips.cc/paper/8141-representer-point-selection-for-explaining-deep-neural-networks.pdf

这篇文章提出如何解释深度神经网络的预测, 即通过指向训练集中的一组称为代表样本, 用于对给定的测试样本给出预测。

具体而言, 可以将神经网络的激活前的预测分解为训练点激活状态的线性组合, 其权重与代表样本相对应, 从而可以体现出该样本点对网络参数的重要性。

这种做法能够促使对网络进行更深入的理解, 而不仅仅是训练样本的影响: 标签为正的代表样本对应兴奋的训练样本, 同时，标签为负的代表样本对应抑制的训练样本。

这种方法具有比较好的可扩展性, 能够突破影响函数的限制，该方法能够进行实时反馈。

真实的与预测的softmax输出之间的皮尔逊系数图示如下

640?wx_fmt=png

几种方法的效果对比如下

最低0.47元/天 解锁文章
frank_hetest
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Facebook渐变神经网络 通过任意指定属性，操纵生成图像，NIPS2017论文选读1 .html
11-29
机器学习 深度学习 pytorch tensorflow 贝叶斯 神经网络 算法
Gather-Excite:Exploiting Feature Context in Convolutional Neural Networks
Acmer_future_victor的博客
03-12 3960
Gather-Excite:Exploiting Feature Context in Convolutional Neural Networks Gather-Excite：在卷积神经网络中利用特征上下文 Abstract 尽管在卷积神经网络（CNN）中使用自底向上的局部运算符可以很好地匹配自然图像的某些统计信息，但它也可能阻止此类模型捕获上下文的远程特征交互。在这项工作中，我们提出了一种简单，轻量级的方法，以在CNN中更好地利用上下文。我们通过引入一对运算符来做到这一点：Gather，可以有效地在很大的
DCdetector: Dual Attention Contrastive Representation Learning for Time Series Anomaly Detection
最新发布
weixin_45731480的博客
03-04 422
DCdetector: Dual Attention Contrastive Representation Learning for Time Series Anomaly Detection
pytorch 模型同一轮两次预测结果不一样_2020年的最新深度学习模型可解释性综述[附带代码]...
weixin_39714849的博客
11-13 550
最近low-level vision的炼丹经常出现各种主观评测上的效果问题，无法定位出其对于输入数据的对应关系，出现了问题之后很难进行针对性解决。这个时候一个很自然的问题就是，都2020年了，深度学习的可解释性到底发展到什么地步了？对于模型的可解释性而言，很难做到像解数学题一样，每一步都能给出有效的解释。于是就查阅了下模型解释性相关的论文，从2012年开始，主要还是以高引用作为主要的参考因素。整个...
即插即用篇 | YOLOv8 引入 GatherExcite 注意力机制 | 《Gather-Excite: Exploiting Feature Context in Convolutional》
YOLOv8项目贡献者
03-01 399
即插即用篇 | YOLOv8 引入 GatherExcite 注意力机制 | 《Gather-Excite: Exploiting Feature Context in Convolutional》
计算机视觉——语义分割入门级综述
不务正业的程序媛的博客
09-21 1198
计算机视觉——语义分割语义分割是什么？语义分割评价语义分割数据集经典算法介绍FCNPyramid Scene Parsing NetworkDeeplab V1 V2 V3 V3plusUperNetSqueeze-and-Excitation NetworksSelective Kernel NetworksGather-Excite: Exploiting Feature Context in Convolutional Neural NetworksCBAMENCnetPSANetAttention
Gather-Excite Attention
00000cj的博客
08-27 723
本文的切入点在于contextexploitation，其实就是空间维度的注意力机制，和BAM、CBAM的区别在于BAM在空间维度使用的普通卷积，最后输出的是单通道的特征图，因此在与原始特征图进行element-wisemultiplication时每一个像素在所有通道上的权重是相同的。\(GE-\theta\)中gather是通过深度卷积实现的。\(GE-\theta^{+}\)则是结合了SE的思想，在\(GE-\theta\)的后面先通过一个1x1卷积缩减通道，再通过一个1x1卷积还原回去。......
深度学习中正样本、负样本、简单样本、困难样本的区别 （简单易懂）
03-19 1万+
目录1. 前序2. 名词解释3. 举例说明4. 参考文献 1. 前序 在读论文或者看一些博客的时候，经常会出现这种名词：正样本、负样本、简单样本以及困难样本，最近自己为了加深这方面的理解，参考网上的一些资料，整理了下这几者之间的区别，方便自己查看也方便初学者快速了解。 2. 名词解释 正样本： 与真值对应的目标类别来说该样本为正样本。 负样本： 与真值不对应的其他所有目标类别来说该样本为负样本。 简单样本： 预测时与真值标签误差较小的样本。 困难样本： 预测时与真值标签误差较大的样本。 补充下：真值其实
cgnl-network.pytorch:紧凑型通用非本地网络（NIPS 2018）
05-22
紧凑型广义非本地网络 ，，，，丁二瑞，徐福新 介绍 这是针对的重新实现。 它带来了基于FAIR的在 ， 和上训练的CGNL模型。 更新 05/2019：在Caffe中支持CGNL和NL模块-请参阅 引文 如果您认为此代码对您的研究很有用...
deep-recursive:在二进制解析树上实现深度递归网络（NIPS2014 论文的代码）
06-26
“用于语言组合的深度递归神经网络” Ozan Irsoy，Claire Cardie NIPS 2014 详情。 如果您使用我的代码，请引用： @InProceedings{irsoy-drsv, author = {\.Irsoy, Ozan and Cardie, Claire}, title = {Deep ...
逆生成网络：NIPS 2018“基于局部测量的卷积生成网络的可逆性”
02-03
此回购实现了麻省理工学院的 ， Ayaz和为NeurIPS（以前缩写为NIPS）2018年论文。 引文 如果您在工作中使用我们的代码或方法，请引用以下内容： @inproceedings{ma2018invertibility, title={Invertibility of ...
深度学习的样本
liu1073811240的博客
11-19 3509
文章目录一：什么是样本？二：什么是总体？三：样本抽取规则四：样本的作用五：样本的类型六：数据集各类样本的比例 一：什么是样本？        研究中实际观测或调查的一部分个体称为样本(sample)。 二：什么是总体？        研究对象的全部称为总体。 三：样本抽取规则        为了使
一文看尽深度学习中的各种注意力机制（1998-2020年）
热门推荐
阿木寺的博客
06-29 3万+
导读视觉注意力机制是人类视觉所特有的一种大脑信号处理机制，而深度学习中的注意力机制正是借鉴了人类视觉的注意力思维方式。一般来说，人类在观察外界环境时会迅速的扫描全景，然后根据大脑信号的处理...
深度学习可解释性的相关论文
qq_42779103的博客
11-26 3475
Year Publication Paper Citation code 2020 CVPR Explaining Knowledge Distillation by Quantifying the Knowledge 3 2020 CVPR High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks 16 2020 CVPRW Score-CAM: Sco...
NIPS 2018 接收论文list 完整清单
TomRen
09-12 1万+
NIPS2018 接收论文包括poster、tutorial、workshop等，目前官网公布了论文清单： https://nips.cc/Conferences/2018/Schedule 同时还给出了workshop介绍。
【深度学习】注意力机制（一）
AI爱好者的博客，分享计算机领域相关知识
12-10 1848
本文介绍一些注意力机制的实现。
Explaining Deep Neural Networks
pixian3729的博客
10-24 1263
Explaining Deep Neural Networks 翻译一下牛津小姐姐这这篇优秀的博士论文，可以大致当做一篇综述来看，如果有翻译不好的地方，请大家多多指点 附上论文地址 https://arxiv.org/pdf/2010.01496.pdf ???????????? 文章目录Explaining Deep Neural Networks????????????摘要第一章 简介1.1 解释深度神经网络的重要性1.2 研究问题及大纲第二章 深度神经网络解释的背景知识2.1 记号2.2 解释性方
网络入侵检测系统NIPS
06-03
网络入侵检测系统（Network Intrusion Detection System，NIDS）是一种网络安全设备，用于检测和防止网络入侵。它可以监视网络流量，分析流量中的数据包，识别并报告可疑的网络活动。NIDS通常会使用一些特定的规则或...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值