注意力
文章平均质量分 76
yepoyou
一个小透明
展开
-
【深度学习】注意力机制
概述卷积、全连接、池化层都只考虑不随意线索注意力机制则显示的考虑随意线索随意:跟随意志(主观),有想法的选择随意线索被称之为查询(query) 每个输入是一个值(value)和不随意线索(key)的对 通过注意力池化层来有偏向性的选择选择某些输入会根据query寻找感兴趣的东西非参注意力池化层给定数据 查询x,平均池化是最简单的方案,不管具体查询直接对y平均,更好的方案是60年代提出来的Nadaraya-Watson核回归(会跟候选相减,加权再对y求和。选择跟查询x相近的y原创 2021-11-25 17:19:45 · 738 阅读 · 0 评论 -
【论文阅读】注意力综述(自注意力)
以下内容来自:综述:图像处理中的注意力机制 - 知乎概述自注意力机制是注意力机制的改进,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性。在神经网络中,我们知道卷积层通过卷积核和原始特征的线性结合得到输出特征,由于卷积核通常是局部的,为了增加感受野,往往采取堆叠卷积层的方式,实际上这种处理方式并不高效。同时,计算机视觉的很多任务都是由于语义信息不足从而影响最终的性能。自注意力机制通过捕捉全局的信息来获得更大的感受野和上下文信息。自注意力机制 (self-attention)[1.原创 2021-11-24 22:55:47 · 5213 阅读 · 0 评论 -
【论文阅读】注意力综述(软注意力)
以下内容来自:综述:图像处理中的注意力机制 - 知乎目录概述软注意力Spatial Transformer Networks(空间域注意力)—2015 nipsSENET (通道域)—2017CPVRResidual Attention Network(混合域)—2017Non-local Neural Networks, CVPR2018Interaction-aware Attention, ECCV2018CBAM: Convolutional Block At.原创 2021-11-23 22:52:03 · 8232 阅读 · 0 评论