cv中的attention机制
文章平均质量分 91
主要介绍目前计算机视觉中易于理解和实现的attention机制
*pprp*
GiantPandaCV公众号作者,研究方向automl,nas
展开
-
天池竞赛-布匹缺陷检测baseline提升过程-给yolov5模型添加注意力机制
这次比赛选择了官方提供的baseline yolov5进行训练,一开始使用的是yolov5s.yml配置文件进行训练的,并且数据也只是train2一小部分,由于笔者这里服务器只有一个1080Ti的可以使用,所以实验跑起来速度还是有点慢的,做的尝试也不是很多,下面是流水账。第一次提交就是使用了train2部分数据集,设置了50个epoch,使用迁移学习,分辨率设置为500x500,花费大概2个小时训练完成。这个成绩的acc还不错,是因为conf thresh设置的值比较低,所以acc可以达到比较高的结果。原创 2021-02-25 18:23:07 · 14935 阅读 · 96 评论 -
【CV中的Attention机制】ShuffleAttention
【GiantPandaCV导语】这个系列已经好几个月没有更新了,开始继续更这个方向论文,19年、20年又出现了很多关于Attention的研究,本文SA-Net:shuffle attention for deep convolutional neural networks 发表在ICASSP 21,传承了SGE的设计理念的同时,引入Channel Shuffle,达到了比较好的效果,有理有据。文章首发于GiantPandaCV,请勿二次转载。1. 摘要目前注意力机制主要可以分为两类,空间注意力机制和通原创 2021-02-16 09:21:01 · 4342 阅读 · 0 评论 -
【CV中的Attention机制】模块梳理合集
文章目录0. 总述1. SENet(CVPR18)2. SKNet(CVPR19)3. CBAM(ECCV18)&BAM(BMVC18)&scSE(MICCAI18)4. Non-Local Network(CVPR19)5. GCNet(ICCVW19)6. CCNet(ICCV19)7. Shuffle Attention(ICASSP21)8. ECANet(CVPR20)9. SGENet(CoRR19)10. GSoPNet(CVPR19)11. FCANet(CoRR20)12.原创 2021-02-16 09:11:56 · 1773 阅读 · 0 评论 -
我们是如何改进YOLOv3进行红外小目标检测的?
【GiantPandCV导语】本文将介绍BBuf、小武和笔者一起在过年期间完成的一个目标检测项目,将描述我们模型改进的思路、实验思路、结果汇总和经验性总结。声明:这篇文章经过了三人同意,并且所有创新点也将被公布。此外,由于经验上的不足,可能整个实验思路不够成熟,比不上CV大组的严谨性和完备性,如有问题还烦请指教。1. 红外小目标检测红外小目标检测的目标比较小,目标极其容易和其他物体混淆,有一定的挑战性。另外,这本质上也是一个小目标领域的问题,很多适用于小目标的创新点也会被借鉴进来。此外,该数据集还原创 2020-09-10 09:47:59 · 6463 阅读 · 31 评论 -
【CV中的Attention机制】BiSeNet中的FFM模块与ARM模块
前言:之前介绍过一个语义分割中的注意力机制模块-scSE模块,效果很不错。今天讲的也是语义分割中使用到注意力机制的网络BiSeNet,这个网络有两个模块,分别是FFM模块和ARM模块。其实现也很简单,不过作者对注意力机制模块理解比较深入,提出的FFM模块进行的特征融合方式也很新颖。1. 简介语义分割需要丰富的空间信息和相关大的感受野,目前很多语义分割方法为了达到实时推理的速度选择牺牲空间分...原创 2020-02-09 19:12:46 · 1929 阅读 · 0 评论 -
【CV中的Attention机制】融合Non-Local和SENet的GCNet
前言: 之前已经介绍过SENet和Non Local Neural Network(NLNet),两者都是有效的注意力模块。作者发现NLNet中attention maps在不同位置的响应几乎一致,并结合SENet后,提出了Global Context block,用于全局上下文建模,在主流的benchmarks中的结果优于SENet和NLNet。GCNet论文名称为:《GCNet: Non...原创 2020-01-16 10:30:51 · 2358 阅读 · 2 评论 -
【CV中的Attention机制】语义分割中的scSE模块
摘要: 本文介绍了一个用于语义分割领域的attention模块scSE。scSE模块与之前介绍的BAM模块很类似,不过在这里scSE模块只在语义分割中进行应用和测试,对语义分割准确率带来的提升比较大。提出scSE模块论文的全称是:《Concurrent Spatial and Channel ‘Squeeze & Excitation’ in Fully Convolutional ...原创 2020-01-06 22:49:04 · 3026 阅读 · 3 评论 -
【CV中的Attention机制】Non-Local neural networks的理解与实现
1. Non-localNon-Local是王小龙在CVPR2018年提出的一个自注意力模型。Non-Local NN和Non-Local Means非局部均值去燥滤波有点相似的感觉。普通的滤波都是3×3的卷积核,然后在整个图片上进行移动,处理的是3×3局部的信息。Non-Local Means操作则是结合了一个比较大的搜索范围,并进行加权。详见:https://blog.csdn.net/qi...原创 2020-01-05 19:00:09 · 1295 阅读 · 0 评论 -
【CV中的Attention机制】CBAM的姊妹篇-BAM模块
1. BAMBAM全程是bottlenect attention module,与CBAM很相似的起名,还是CBAM的团队完成的作品。CBAM被ECCV18接受,BAM被BMVC18接收。CBAM可以看做是通道注意力机制和空间注意力机制的串联(先通道后空间),BAM可以看做两者的并联。这个模块之所以叫bottlenect是因为这个模块放在DownSample 也就是pooling lay...原创 2020-01-03 20:45:04 · 1905 阅读 · 1 评论 -
【CV中的Attention机制】Selective Kernel Networks(SE进化版)
1. SKNetSKNet是SENet的加强版,结合了SE opetator, Merge-and-Run Mappings以及attention on inception block的产物。其最终提出的也是与SE类似的一个模块,名为SK, 可以自适应调节自身的感受野。据作者说,该模块在超分辨率任务上有很大提升,并且论文中的实验也证实了在分类任务上有很好的表现。这篇博客重画了SK模块示意图,详...原创 2020-01-02 19:58:09 · 1478 阅读 · 5 评论 -
【CV中的Attention机制】简单而有效的SENet-注意力机制的鼻祖
Squeeze-and-Excitation NetworksSENet是Squeeze-and-Excitation Networks的简称,拿到了ImageNet2017分类比赛冠军,其效果得到了认可,其提出的SE模块思想简单,易于实现,并且很容易可以加载到现有的网络模型框架中。SENet主要是学习了channel之间的相关性,筛选出了针对通道的注意力,稍微增加了一点计算量,但是效果比较好。...原创 2020-01-01 11:25:41 · 2584 阅读 · 2 评论 -
【CV中的Attention机制】易于集成的Convolutional Block Attention Module(CBAM模块)
前言: 这是CV中的Attention机制专栏的第一篇博客,并没有挑选实现起来最简单的SENet作为例子,而是使用了CBAM作为第一个讲解的模块,这是由于其使用的广泛性以及易于集成。目前cv领域借鉴了nlp领域的attention机制以后生产出了很多有用的基于attention机制的论文,attention机制也是在2019年论文中非常火。这篇cbam虽然是在2018年提出的,但是其影响力比较深...原创 2019-12-31 22:57:11 · 2597 阅读 · 0 评论