![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 83
深度学习
yepoyou
一个小透明
展开
-
【深度学习】注意力机制
概述卷积、全连接、池化层都只考虑不随意线索注意力机制则显示的考虑随意线索随意:跟随意志(主观),有想法的选择随意线索被称之为查询(query) 每个输入是一个值(value)和不随意线索(key)的对 通过注意力池化层来有偏向性的选择选择某些输入会根据query寻找感兴趣的东西非参注意力池化层给定数据 查询x,平均池化是最简单的方案,不管具体查询直接对y平均,更好的方案是60年代提出来的Nadaraya-Watson核回归(会跟候选相减,加权再对y求和。选择跟查询x相近的y原创 2021-11-25 17:19:45 · 738 阅读 · 0 评论 -
【论文阅读】注意力综述(自注意力)
以下内容来自:综述:图像处理中的注意力机制 - 知乎概述自注意力机制是注意力机制的改进,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性。在神经网络中,我们知道卷积层通过卷积核和原始特征的线性结合得到输出特征,由于卷积核通常是局部的,为了增加感受野,往往采取堆叠卷积层的方式,实际上这种处理方式并不高效。同时,计算机视觉的很多任务都是由于语义信息不足从而影响最终的性能。自注意力机制通过捕捉全局的信息来获得更大的感受野和上下文信息。自注意力机制 (self-attention)[1.原创 2021-11-24 22:55:47 · 5213 阅读 · 0 评论 -
【论文阅读】注意力综述(软注意力)
以下内容来自:综述:图像处理中的注意力机制 - 知乎目录概述软注意力Spatial Transformer Networks(空间域注意力)—2015 nipsSENET (通道域)—2017CPVRResidual Attention Network(混合域)—2017Non-local Neural Networks, CVPR2018Interaction-aware Attention, ECCV2018CBAM: Convolutional Block At.原创 2021-11-23 22:52:03 · 8232 阅读 · 0 评论 -
【论文阅读】A Survey on Multi-output Learning
目录AbstractIntroduction数据标记五种标记表示形式Label evaluationMulti-output learningMyriads of Output StructuresIndependent VectorDistributionRankingTextSequenceTreeImageBounding BoxLinkGraphProblem Definition of Multi-output Learnin转载 2021-11-22 22:52:59 · 490 阅读 · 0 评论 -
【论文阅读】[ML-GCN] Multi-Label Image Recognition with Graph Convolutional Networks
多标签图像识别的两个重要问题:如何有效获取目标标签之间的相关性? 如何利用这些标签相关性提升分类表现?作者使用图(graph)来对标签之间的相互依赖关系进行建模,来灵活地获取标签空间中的拓扑结构:由于从词嵌入向量到分类器的映射参数在所有类别中是共享的,所以学习到的分类器能够在词嵌入空间中(语义相关的概念在词嵌入空间中彼此临近)保留较弱的语义结构。与此同时,对于可以对标签依赖性进行隐式建模的分类器函数,所有分类器的梯度都会对它产生影响。 基于标签的共现模式,设计了一个全新的标签相关系数矩阵,可显原创 2021-11-21 22:17:35 · 2388 阅读 · 2 评论 -
【论文阅读】[VAC] Visual Attention Consistency under Image Transforms for Multi-Label Image Classification
目录概述写作动机问题描述网络架构两个损失函数概述图像变化下的注意力一致性在多标签图像分类下的应用。 本文使用很简单的方法利用class attention map(CAM)使用一个称作Attention consistency loss 的无监督的损失函数来进行不变性的约束。 具有强可解释性,并且也达到了很好的效果写作动机人类的视觉感知对图像的变换(旋转、缩放、反转等)具有很强的不变性,而这种不变性在CNNs中是有缺陷的。作者希望网络也有这种作用 本文提出了dat转载 2021-11-20 18:19:42 · 445 阅读 · 0 评论 -
【论文阅读】Learning Spatial Regularization with Image-level Supervisionsfor Multi-label Image Classifica
SRN空间正则化网络(Spatial Regularization Network, SRN),学习所有标签间的注意力图(attention maps),并通过可学习卷积挖掘标签间的潜在关系,结合正则化分类结果和 ResNet-101 网络的分类结果,以提高图像分类表现。SRN的优势挖掘图像多标签之间的语义和空间关联性,较大地提高精度 当网络模型对具有空间相关标签的图片训练后,注意力机制自适应地关注图像的相关区域 图像级标注,端到端训练SRN网络结构Main Net:ResN.转载 2021-11-19 22:44:00 · 222 阅读 · 0 评论 -
【论文阅读】WILDCAT: Weakly Supervised Learning of Deep ConvNets
概述这篇论文提出了一个框架,可以使用弱监督的方法识别一个物体显著的局部特征。其实,这篇文章和Learning Deep Features for Discriminative Localization 类似。但是这篇论文有两个不同:1)它可以识别多个局部区域;而Learning Deep Feature for Discriminative Localization只能识别一个显著的区域。2)这篇文章将WILDCAT应用到了弱监督的语义分割上面。如下图所示,WILDCAT可以识别狗的头部和腿部信息,转载 2021-11-19 21:18:30 · 261 阅读 · 0 评论 -
【论文阅读】Order-Free RNN with Visual Attention for Multi-Label Classification
Abstract本文提出了一种基于递归神经网络(RNN)的图像多标签分类模型。我们的模型独特地集成和学习视觉注意和长短期记忆(LSTM)层,它们共同学习感兴趣的标签及其共存,同时相关的图像区域被视觉关注。与现有的方法在其网络体系结构中使用这两种模型不同,我们的模型的训练不需要预先定义的标签顺序。此外,还引入了一个鲁棒的推理过程,使预测误差不会传播,从而影响性能。我们在NUS-WISE和MS-COCO数据集上的实验证实了我们的网络的设计及其在解决多标签分类问题方面的有效性。...原创 2021-11-18 20:51:07 · 1876 阅读 · 0 评论 -
【论文阅读】HCP: A Flexible CNN Framework forMulti-Label Image Classification
目录AbstractHCP网络的独特点INTRODUCTIONRELATED WORKHYPOTHESES-CNN-POOLINGHypotheses ExtractionTraining HCPMulti-label Classifification for Test ImageEXPERIMENTAL RESULTSDatasets and SettingsAbstractHCP网络的独特点训练时不需要ground-truth bounding bo.原创 2021-11-16 21:32:42 · 847 阅读 · 0 评论 -
【深度学习】深度学习中的可解释性(1)
原文链接:https://zhuanlan.zhihu.com/p/48279309(2018年)最近由于项目需要,集中调研了一些深度学习领域的可解释性研究的方法。大概整理为了以下几类方法,欢迎大家参考与交流。1.隐层分析法该方法[1-3]通过可视化,反映射以及标记出隐层神经元所学到的特征的方式来解释深度神经网络。1卷积神经网络与反卷积实现过程2反卷积方法的特征可视化多用于计算机视觉领域中,如[3]中,在卷积神经网络的基础上,引入反卷积神经网络,即利用卷积层中卷积...转载 2020-12-21 22:08:10 · 3220 阅读 · 0 评论 -
【复现】DarkNet53
import torchimport torch.nn.modules as nnimport torch.nn.functional as Fclass Darknetconv2D_BN_Leaky(nn.Module): def __init__(self, in_channels, out_channels, kernal_size, stride, padding): super(Darknetconv2D_BN_Leaky, self).__init__() .原创 2020-10-16 21:24:19 · 175 阅读 · 0 评论 -
《deep learning》读书笔记6——深度前馈网络
目录深度前馈网络实例:学习xor基于梯度的学习隐藏单元结构设计BP和其他的微分算法深度前馈网络深度前馈网络(deep feedforward network),也叫作前馈神经网络(feedforward neural network) 或者多层感知机(multilayer perceptron, MLP),是典型的深度学习模型。前馈网络的目标是近似某个函数f*。例如,对于分类器,将输入x 映射到一个类别y。前馈网络定义了一个映射,并且学习参数的值,使它能够得到最佳的函数近似。原创 2020-06-29 17:34:06 · 1584 阅读 · 1 评论