![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
attention
A霸天下
作大分母
展开
-
RecoNet,3D attention的新方案
前言近几年attention用在图像识别,分割等领域上越来越多了,从去年的GCnet,CCnet,再到Dual attention,大多数都是引入attention,进行相应的变种,但是他们的共同点都是把一个维度为**[batch_size,H,W,C]的tensor转化为[batch_size,HW,C],然后进行各种操作,如下图所示。这种转化是否会带来Channel上面的信息损失,Tensor Low-Rank Reconstruction for Semantic Segmentation提出了一种原创 2020-08-13 23:33:40 · 2538 阅读 · 0 评论 -
SKnet,Inception思想的延续,以及SEnet的进化
前言自13年以后出现的inception体系的网络,其主要的目的是认为识别物体所占图像的占比不同,所适合的卷积核大小不同,如下图所示,这是经典的inception V1的结构,其主要采用了大小为3,5,1的卷积核,但是这种做法也有一些粗暴,因为在设计网络的时候,不同卷积核的通道数是固定的,很难适应多种算法。那么能否有一种网络模块,帮助我们针对于目标物不同占比的图像,选用不同的卷积核,答案是有的,2019CVPR的SKnet就是来解决这种问题的。SKnet的基本结构如图所示,主要分为三个部分,分离,原创 2020-08-01 17:46:53 · 763 阅读 · 0 评论 -
双注意力机制网络,attention在图像分割领域的进一步优化?
前言在之前的博客中我们将了self-attention,在图像领域中应用大多数基于[H,W]这个维度,也就是图像的空间维度,本篇Dual Attention Network for Scene Segmentation,不仅在空间维度上的attention,也在channel的维度上进行attention。目前的主流attention机制:基于空间域的:self-attention,soft/hard attention基于channel域的:SEnet SKnet 以及ResNest本篇pape原创 2020-06-26 14:33:37 · 2264 阅读 · 0 评论 -
Attention Is All You Need 中的self-attention 以及multi-head attention
前言atention在语音识别方面越来越受大家的欢迎了,无论是soft attention以及hard attention等等都被大家广泛应用,从今天起笔者将基于一篇篇的顶会,来复现各家的attention的算法,今天就分享self-attention。self-attention如图所示文章中的经典图例所采用的公式也就是引入了QKV三个值,用这三个值进行一如上公式,进行系列的操作...原创 2020-01-25 12:49:16 · 572 阅读 · 0 评论