NIPS2018深度学习(26)|亮点:代表样本选择;上下文卷积网络;反馈编码(论文及代码)...

最新推荐文章于 2024-03-04 11:02:05 发布
最新推荐文章于 2024-03-04 11:02:05 发布
阅读量1.2k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hestendelin/article/details/101546809
版权
本文介绍了NIPS2018上关于深度学习的三篇论文，包括代表样本选择以解释神经网络预测，上下文卷积网络以增强特征交互，以及反馈编码通过深度学习改进通信可靠性。各论文通过实验展示了其方法的有效性和优势，并提供了相关代码链接。
摘要由CSDN通过智能技术生成

[1] Representer Point Selection for Explaining Deep Neural Networks

Chih-Kuan Yeh, Joon Sik Kim, Ian E.H. Yen, Pradeep Ravikumar

Carnegie Mellon University

https://papers.nips.cc/paper/8141-representer-point-selection-for-explaining-deep-neural-networks.pdf

这篇文章提出如何解释深度神经网络的预测, 即通过指向训练集中的一组称为代表样本, 用于对给定的测试样本给出预测。

具体而言, 可以将神经网络的激活前的预测分解为训练点激活状态的线性组合, 其权重与代表样本相对应, 从而可以体现出该样本点对网络参数的重要性。

这种做法能够促使对网络进行更深入的理解, 而不仅仅是训练样本的影响: 标签为正的代表样本对应兴奋的训练样本, 同时，标签为负的代表样本对应抑制的训练样本。

这种方法具有比较好的可扩展性, 能够突破影响函数的限制，该方法能够进行实时反馈。

真实的与预测的softmax输出之间的皮尔逊系数图示如下

640?wx_fmt=png

几种方法的效果对比如下

最低0.47元/天 解锁文章
frank_hetest
关注
改进YOLOv5 | 在 C3 模块中添加【EffectiveSE】【GlobalContext】【GatherExcite】【MHSA】注意力机制 | 附详细结构图
weixin_39818775的博客
08-15 837
EffectiveSE（高效通道注意力）：对SE模块的改进，通过更少的参数和计算量，提高了通道注意力建模的效率。GlobalContext（全局上下文注意力）：通过捕获全局上下文信息，帮助模型更好地理解图像的整体语义。GatherExcite（聚合激发）：通过聚合特征并进行激发，增强特征表达能力。MHSA（多头自注意力）：借鉴Transformer中的自注意力机制，捕获特征之间的长距离依赖关系。在YOLOv5的C3模块中添加注意力机制是一种有效的改进方法，可以显著提升模型的性能。
Explaining Deep Neural Networks
pixian3729的博客
10-24 1325
Explaining Deep Neural Networks 翻译一下牛津小姐姐这这篇优秀的博士论文，可以大致当做一篇综述来看，如果有翻译不好的地方，请大家多多指点 附上论文地址 https://arxiv.org/pdf/2010.01496.pdf ???????????? 文章目录Explaining Deep Neural Networks????????????摘要第一章 简介1.1 解释深度神经网络的重要性1.2 研究问题及大纲第二章 深度神经网络解释的背景知识2.1 记号2.2 解释性方
【AAAI-19】基于整合上下文相关知识卷积神经网络的短文本分类
qq_36291847的博客
03-30 953
文章目录摘要引言我们的模型上下文相关的概念表示模块概念表示层上下文表示层上下文相关的概念表示层二级目录三级目录 论文：Incorporating Context-Relevant Knowledge into Convolutional Neural Networks for Short Text Classification 来源：AAAI-19 作者：华南理工大学的两位同学 摘要 由于数据的稀疏性，一些文本分类方法不能很好地处理短文本。更重要的是，他们没有充分利用与上下文相关的知识。为了解决这些问题，我
DCdetector: Dual Attention Contrastive Representation Learning for Time Series Anomaly Detection
最新发布
weixin_45731480的博客
03-04 1243
DCdetector: Dual Attention Contrastive Representation Learning for Time Series Anomaly Detection
Gather-Excite Attention
00000cj的博客
08-27 830
本文的切入点在于contextexploitation，其实就是空间维度的注意力机制，和BAM、CBAM的区别在于BAM在空间维度使用的普通卷积，最后输出的是单通道的特征图，因此在与原始特征图进行element-wisemultiplication时每一个像素在所有通道上的权重是相同的。\(GE-\theta\)中gather是通过深度卷积实现的。\(GE-\theta^{+}\)则是结合了SE的思想，在\(GE-\theta\)的后面先通过一个1x1卷积缩减通道，再通过一个1x1卷积还原回去。......
深度学习中正样本、负样本、简单样本、困难样本的区别 （简单易懂）
03-19 1万+
目录1. 前序2. 名词解释3. 举例说明4. 参考文献 1. 前序 在读论文或者看一些博客的时候，经常会出现这种名词：正样本、负样本、简单样本以及困难样本，最近自己为了加深这方面的理解，参考网上的一些资料，整理了下这几者之间的区别，方便自己查看也方便初学者快速了解。 2. 名词解释 正样本： 与真值对应的目标类别来说该样本为正样本。 负样本： 与真值不对应的其他所有目标类别来说该样本为负样本。 简单样本： 预测时与真值标签误差较小的样本。 困难样本： 预测时与真值标签误差较大的样本。 补充下：真值其实
深度学习的样本
liu1073811240的博客
11-19 3646
文章目录一：什么是样本？二：什么是总体？三：样本抽取规则四：样本的作用五：样本的类型六：数据集各类样本的比例 一：什么是样本？        研究中实际观测或调查的一部分个体称为样本(sample)。 二：什么是总体？        研究对象的全部称为总体。 三：样本抽取规则        为了使
小规模标注+无监督学习：减少噪声数据对深度卷积神经网络的影响
3Serge Belongie11康奈尔大学康奈尔理工学院计算机科学系2谷歌公司，3卡内基梅隆大学摘要我们提出了一种方法，有效地使用数百万的图像与嘈杂的注释结合一个小的子集，干净的注释图像学习强大的图像表示。将干净数据...
图上动态边条件滤波器：优化图分类的卷积神经网络
3693图上卷积神经网络的动态边条件滤波器马丁·西蒙诺夫斯基Uni versite'Paris Est，E'cole des PontsP arisTechmartin. enpc.fr尼科斯·科莫达基斯一个位于东方的桥，位于科技的桥nikos. enpc.fr摘要许多问题可以被...
【Graph Neural Network 图神经网络】3.Spatial-based Graph Convolutional Networks 基于空间的图卷积网络
TsingM
06-25 3385
图卷积网络（GCN） 卷积图神经网络（GCN，图卷积网络）与递归图神经网络关系密切。与使用收缩约束迭代节点状态不同，ConvGNNs在架构上使用具有固定数量的不同卷积层来处理循环相互依赖，下图说明了这一关键区别。由于图卷积与其他神经网络的融合更加高效方便，近年来它的普及率迅速提高。 GCN可分为两类，基于谱域Spectral的和空间Spatial的。基于谱域的方法从图信号处理的角度引入滤波器来定义图卷积，其中图卷积运算被解释为从图信号中去除噪声。而基于空间的方法继承了RecGNNs的思想，通过信息传播来定
NIPS 2017 深度学习论文集锦 (6) 含部分代码 完结篇
hestendelin的专栏
09-03 852
您可能感兴趣本篇文章基于上述五篇，故论文编号沿用上五篇的编号[101] The Expressive Power of Neural Networks: A View f...
NIPS 2018 接收论文list 完整清单
热门推荐
TomRen
09-12 1万+
NIPS2018 接收论文包括poster、tutorial、workshop等，目前官网公布了论文清单： https://nips.cc/Conferences/2018/Schedule 同时还给出了workshop介绍。
NIPS2018深度学习(23)|亮点: RenderNet卷积网络;哈密顿变分自编码;co-teaching(论文及代码)...
hestendelin的专栏
05-20 2249
[1]RenderNet: A deep convolutional network for differentiable rendering from 3D shap...
NeurIPS | 2018
u014033218的专栏
04-07 1万+
https://nips.cc/Conferences/2018/Schedule?type=Poster Toggle Poster Visibility Poster Tue Dec 4th 10:45 AM -- 12:45 PM @ Room 210 #1 Modelling sparsity, heterogeneity, reciprocity and communit...
万字长文 | 深度学习的可解释性研究
idol24的博客
06-03 3450
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！《深度学习的可解释性研究概览》包含3篇内容，作者将用尽可能浅显的语言带领大家了解可解释性的概念与...
AI技术内参015-WSDM2018论文精读：深度学习模型中如何使用上下文信息？
sucaiwa的博客
04-21 161
这篇论文的所有作者都来自谷歌，我们这里对其中的主要作者做一个简单介绍。文章的第一作者亚力克斯·布伦特（Alex Beutel）是谷歌的资深科学家，于2016年加入谷歌。布伦特毕业于卡内基梅隆大学，获得计算机科学博士学位，师从机器学习的权威亚力克斯·斯莫拉（Alex Smola）。最后一位作者艾德·池（Ed H. Chi）是谷歌的主任科学家，他拥有39项专利，已经发表了110多篇论文。在加入谷歌之前，池是帕罗奥图（Palo Alto）研究中心的主任研究员。池毕业于明尼苏达大学，获得计算机科学博士学位。
从频域角度重新思考注意力机制——FcaNet
我爱计算机视觉
12-26 5153
本文转自知乎，已获作者授权转载，请勿二次转载。这是一篇非常棒的文章，既有对注意力机制较为系统的总结，也有对前几天刚出的频域注意力方法FcaNet（相关介绍在我们的知乎专栏CV Daily...
CNN经典结构（Lenet，AlexNet，VGG，GoogleNet，ResNet, Resnext, Densenet, Senet, BAM,mobilenet）及其pytorch实现
xu_fu_yong的专栏
06-19 8549
CNN经典结构（Lenet，AlexNet，VGG，GoogleNet，ResNet, Resnext, Densenet, Senet, BAM, CBAM, genet, sknet, mobilenet）及其pytorch实现 前言 本文主要介绍2012-2019年的一些经典CNN结构，从Lenet，AlexNet，VGG，GoogleNet，ResNet, Resnext, Densene...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值