![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
神经网络
文章平均质量分 82
深度学习
yepoyou
一个小透明
展开
-
【深度学习】注意力机制
概述卷积、全连接、池化层都只考虑不随意线索注意力机制则显示的考虑随意线索随意:跟随意志(主观),有想法的选择随意线索被称之为查询(query) 每个输入是一个值(value)和不随意线索(key)的对 通过注意力池化层来有偏向性的选择选择某些输入会根据query寻找感兴趣的东西非参注意力池化层给定数据 查询x,平均池化是最简单的方案,不管具体查询直接对y平均,更好的方案是60年代提出来的Nadaraya-Watson核回归(会跟候选相减,加权再对y求和。选择跟查询x相近的y原创 2021-11-25 17:19:45 · 741 阅读 · 0 评论 -
【论文阅读】注意力综述(自注意力)
以下内容来自:综述:图像处理中的注意力机制 - 知乎概述自注意力机制是注意力机制的改进,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性。在神经网络中,我们知道卷积层通过卷积核和原始特征的线性结合得到输出特征,由于卷积核通常是局部的,为了增加感受野,往往采取堆叠卷积层的方式,实际上这种处理方式并不高效。同时,计算机视觉的很多任务都是由于语义信息不足从而影响最终的性能。自注意力机制通过捕捉全局的信息来获得更大的感受野和上下文信息。自注意力机制 (self-attention)[1.原创 2021-11-24 22:55:47 · 5251 阅读 · 0 评论 -
【论文阅读】注意力综述(软注意力)
以下内容来自:综述:图像处理中的注意力机制 - 知乎目录概述软注意力Spatial Transformer Networks(空间域注意力)—2015 nipsSENET (通道域)—2017CPVRResidual Attention Network(混合域)—2017Non-local Neural Networks, CVPR2018Interaction-aware Attention, ECCV2018CBAM: Convolutional Block At.原创 2021-11-23 22:52:03 · 8339 阅读 · 0 评论 -
【论文阅读】A Survey on Multi-output Learning
目录AbstractIntroduction数据标记五种标记表示形式Label evaluationMulti-output learningMyriads of Output StructuresIndependent VectorDistributionRankingTextSequenceTreeImageBounding BoxLinkGraphProblem Definition of Multi-output Learnin转载 2021-11-22 22:52:59 · 493 阅读 · 0 评论 -
【论文阅读】[ML-GCN] Multi-Label Image Recognition with Graph Convolutional Networks
多标签图像识别的两个重要问题:如何有效获取目标标签之间的相关性? 如何利用这些标签相关性提升分类表现?作者使用图(graph)来对标签之间的相互依赖关系进行建模,来灵活地获取标签空间中的拓扑结构:由于从词嵌入向量到分类器的映射参数在所有类别中是共享的,所以学习到的分类器能够在词嵌入空间中(语义相关的概念在词嵌入空间中彼此临近)保留较弱的语义结构。与此同时,对于可以对标签依赖性进行隐式建模的分类器函数,所有分类器的梯度都会对它产生影响。 基于标签的共现模式,设计了一个全新的标签相关系数矩阵,可显原创 2021-11-21 22:17:35 · 2399 阅读 · 2 评论 -
【论文阅读】[VAC] Visual Attention Consistency under Image Transforms for Multi-Label Image Classification
目录概述写作动机问题描述网络架构两个损失函数概述图像变化下的注意力一致性在多标签图像分类下的应用。 本文使用很简单的方法利用class attention map(CAM)使用一个称作Attention consistency loss 的无监督的损失函数来进行不变性的约束。 具有强可解释性,并且也达到了很好的效果写作动机人类的视觉感知对图像的变换(旋转、缩放、反转等)具有很强的不变性,而这种不变性在CNNs中是有缺陷的。作者希望网络也有这种作用 本文提出了dat转载 2021-11-20 18:19:42 · 447 阅读 · 0 评论 -
【论文阅读】Learning Spatial Regularization with Image-level Supervisionsfor Multi-label Image Classifica
SRN空间正则化网络(Spatial Regularization Network, SRN),学习所有标签间的注意力图(attention maps),并通过可学习卷积挖掘标签间的潜在关系,结合正则化分类结果和 ResNet-101 网络的分类结果,以提高图像分类表现。SRN的优势挖掘图像多标签之间的语义和空间关联性,较大地提高精度 当网络模型对具有空间相关标签的图片训练后,注意力机制自适应地关注图像的相关区域 图像级标注,端到端训练SRN网络结构Main Net:ResN.转载 2021-11-19 22:44:00 · 225 阅读 · 0 评论 -
【论文阅读】Order-Free RNN with Visual Attention for Multi-Label Classification
Abstract本文提出了一种基于递归神经网络(RNN)的图像多标签分类模型。我们的模型独特地集成和学习视觉注意和长短期记忆(LSTM)层,它们共同学习感兴趣的标签及其共存,同时相关的图像区域被视觉关注。与现有的方法在其网络体系结构中使用这两种模型不同,我们的模型的训练不需要预先定义的标签顺序。此外,还引入了一个鲁棒的推理过程,使预测误差不会传播,从而影响性能。我们在NUS-WISE和MS-COCO数据集上的实验证实了我们的网络的设计及其在解决多标签分类问题方面的有效性。...原创 2021-11-18 20:51:07 · 1882 阅读 · 0 评论 -
【论文阅读】HCP: A Flexible CNN Framework forMulti-Label Image Classification
目录AbstractHCP网络的独特点INTRODUCTIONRELATED WORKHYPOTHESES-CNN-POOLINGHypotheses ExtractionTraining HCPMulti-label Classifification for Test ImageEXPERIMENTAL RESULTSDatasets and SettingsAbstractHCP网络的独特点训练时不需要ground-truth bounding bo.原创 2021-11-16 21:32:42 · 854 阅读 · 0 评论 -
11 种主要神经网络结构图解
转载 来自微信公众号:AI有道随着深度学习的快速发展,人们创建了一整套神经网络结构来解决各种各样的任务和问题。尽管有无数的神经网络结构,这里有十一种对于任何深度学习工程师来说都应该理解的结构,可以分为四大类: 标准网络、循环网络、卷积网络和自动编码器。标准网络1 | 感知器(Perceptron)感知器是所有神经网络中最基本的,也是更复杂的神经网络的基本组成部分。它只连接一个输入神经元和一个输出神经元。2 | 前馈(Feed-Forward)网络前馈网络是感知器的集合,其中有三种转载 2020-07-17 22:44:28 · 9855 阅读 · 0 评论 -
anaconda+Pytorch
anaconda的安装与环境配置链接:https://www.jianshu.com/p/d3a5ec1d9a08Pytorch环境配置及初步实践链接:https://www.jianshu.com/p/3fa0fb3e19c3转载 2020-07-14 14:29:38 · 78 阅读 · 0 评论 -
《deep learning》读书笔记6——深度前馈网络
目录深度前馈网络实例:学习xor基于梯度的学习隐藏单元结构设计BP和其他的微分算法深度前馈网络深度前馈网络(deep feedforward network),也叫作前馈神经网络(feedforward neural network) 或者多层感知机(multilayer perceptron, MLP),是典型的深度学习模型。前馈网络的目标是近似某个函数f*。例如,对于分类器,将输入x 映射到一个类别y。前馈网络定义了一个映射,并且学习参数的值,使它能够得到最佳的函数近似。原创 2020-06-29 17:34:06 · 1598 阅读 · 1 评论 -
《deep learning》读书笔记9——卷积神经网络
文章目录定义什么是卷积运算在神经网络中使用卷积运算的动机几乎所有的卷积神经网络都会用到的操作池化神经网络实践中用得比较多的几种卷积函数的变体如何在多种不同维数的数据上使用卷积运算使得卷积运算更加高效的一些方法定义卷积是一种特殊的线性运算。卷积网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。什么是卷积运算假设我们正在用激光传感器追踪一艘宇宙飞船的位置。我们的激光传感器给出一个单独的输出 x(t),表示宇宙飞船在时刻 t 的位置。x 和 t 都是实值的,这意味着我们可以在原创 2020-06-10 11:55:07 · 1703 阅读 · 0 评论