Small Object Detection using Context and Attention（论文阅读笔记）

已于 2024-06-02 09:40:05 修改
阅读量2.8k 收藏 6
点赞数
分类专栏： 论文阅读笔记 文章标签： 目标检测 计算机视觉 深度学习
于 2021-12-23 15:10:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjytbest/article/details/122094501
版权

Small Object Detection using Context and Attention 论文阅读笔记

在这里插入图片描述
出处：2021 International Conference on Artificial Intelligence in Information and Communication (ICAIIC) Jeju Island, Korea

一、介绍

在这里插入图片描述

目标检测算法在各种环境下的应用存在许多局限性，特别是检测小物体仍然具有挑战性，因为它们的分辨率低，信息有限。

  1. 文章提出了一种使用上下文的目标检测方法，以提高检测小目标的准确性。该方法通过连接多尺度特征，将来自不同层次的附加特征作为上下文。
    在这里插入图片描述
  2. 提出了具有注意机制的目标检测，该机制可以聚焦于图像中的目标，并包含目标层的上下文信息。

实验结果表明，与传统的SSD相比，该方法对小目标的检测精度更高。此外，对于300×300的输入图像，在PASCAL VOC2007测试集上实现了78.1%的平均精度(mAP)。

二、相关工作

2.1 基于深度学习的目标检测

  1. R-CNN：利用深度学习进行物体检测的第一个尝试，但对于实时应用程序来说，它太慢了，因为它对每个候选区域都是顺序通过cnn的。
  2. Fast R-CNN：对所有候选区域只执行一次特征提取。但这两项工作仍然对区域建议使用了单独的阶段。
  3. YOLO、SSD：实时目标检测。

2.1 小目标检测

  1. SSD：提出减少大型目标的尺寸，以克服数据不足的问题。
  2. DSSD：对SSD的所有特征图都采用反卷积技术，得到按比例放大的特征图。但由于将反卷积模块应用于所有的特征图，增加了模型的复杂性，降低了速度。
  3. R-SSD：通过池化和反卷积集合不同尺度的特征得到比DSSD更高的准确率和更快的速度。
  4. 利用GAN将低分辨的特征变成高分辨率的特征。

2.1 视觉注意力网络

  1. 《K. Xu, J. Ba, R. Kiros, K. Cho, A. Courville, R. Salakhudinov, R. Zemel, and Y . Bengio. Show, attend and tell: Neural image caption generation with visual attention. InInternational conference on machine learning, pages 2048–2057,2015.》利用视觉注意生成图像字幕。为了生成对应图像的标题，他们使用了LSTM 处理给定图像的相关部分。
  2. 《S. Sharma, R. Kiros, and R. Salakhutdinov. Action recognition using visual attention.arXiv preprint arXiv:1511.04119,2015.》将注意力机制应用于视频中的动作识别。
  3. 《F. Wang, M. Jiang, C. Qian, S. Yang, C. Li, H. Zhang,X. Wang, and X. Tang. Residual attention network for image classification.arXiv preprint arXiv:1704.06904, 2017.》通过叠加残差注意模块提高了ImageNet数据集的分类性能。

三、方法

3.1 Single Shot Multibox Detector (SSD)

在这里插入图片描述
文章以SSD为baseline，基于VGG16为骨干网络，添加图层来创建不同分辨率的feature map。从每一个特征，加上一个额外的卷积层来匹配输出通道，网络预测输出，包括bbox回归和目标分类。但在小对象上的性能仍然较低，VOC 2007的性能为20.7%，仍有很大的提升空间。

文章认为，第一，这是因为缺乏上下文信息来检测小对象。需从缺乏语义信息的浅层特征中提取小目标检测特征。第二，加入注意力模块来关注更重要的部分。

3.2 F-SSD: SSD with context by feature fusion

在这里插入图片描述
目标特征来自Conv4_3，上下文特征来自Conn7和Conv8_2。

由于3个特征层具有不同的空间大小，文章提出了如下的融合方法，并对上下文特征进行反卷积，同时，设置上下文特征通道数为目标特征通道数的一半，以至于不会压倒目标特征本身。
在这里插入图片描述

3.3 A-SSD: SSD with attention module

在这里插入图片描述
将一个两阶段的注意力模块加到了Conv4_3和Conv7之后。
残差注意力模块：
在这里插入图片描述
第一阶段的Down-up采样网络：
在这里插入图片描述
第二阶段的Down-up采样网络：
在这里插入图片描述
以及残差模块：
在这里插入图片描述

3.4 FA-SSD: Combining feature fusion and attention in SSD

在这里插入图片描述

四、实验

4.1 实验设置

backbone:VGG16
input size:300*300
训练集：VOC2007 and VOC2012 trainval datasets
测试集：VOC2007 test dataset

4.2 消融实验

在这里插入图片描述

4.3 推理时间

在这里插入图片描述

4.4 定性结果

在这里插入图片描述

4.5 注意力可视化

在这里插入图片描述

4.6 以ResNet为主干的实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.7 在 VOC2007 test上的结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、结论

文章提出的改进有：

  1. 利用上下文信息=融合不同尺度的特征
  2. 增加注意力机制
今天学习了嗷
关注
专栏目录
红外弱小目标检测之“Asymmetric Contextual Modulation for Infrared Small Target Detection“阅读笔记
WNANPHOTO的历程
01-12 4101
Asymmetric Contextual Modulation for Infrared Small Target Detection 本文开源代码及单帧红外小目标检测数据集： code：https://github.com/YimianDai/open-acm sirst：https://github.com/YimianDai/sirst 427张短波、中波，950nm红外图像，5种标注方式 (a)类别标签 (b) 实例分割 © 边界框 (d) 语义分割 (e) 实例定位 模型驱动方法存在的缺点
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【文献阅读7】深度学习检测小目标常用方法（知乎文章）
我是大阿周的学习博客
11-16 487
深度学习检测小目标常用方法 文章名称：深度学习检测小目标常用方法 文章作者：船长 作者在文章中列举了大量小目标检测（通用目标检测与人脸识别）的常用方法与相关论文。 其中有一些文章我觉得对于我目前的小目标检测方向比较有意义的文献。 具体如下： Data Augmentation 深度学习中不平衡样本的处理 Augmentation for small object detection Train Strategies SNIP R-FCN: Object Detection via Region-ba
Small Object Detection using Context and Attention
qq_43403200的博客
09-11 928
Small Object Detection using Context and Attention阅读记录 论文链接：https://arxiv.org/abs/1912.06319v2 Abstract 作者使用上下文信息和注意力机制检测小目标。 作者使用传统的SSD为基线，当网络输入为300x300时，其在Pascal VOC2007上的mAP为78.1%。 Introduction 作者认为解决小目标检测的关键是如何有效的利用上下文信息。 作者使用深层的抽象信息作为上下文信息，在浅层使用注意力机制，
Small Object Detection using Context and Attention（使用上下文和注意力机制的小型物体检测）
知欧zhou的博客
10-27 5261
Small Object Detection using Context and Attention 使用上下文和注意力机制的小型物体检测 Jeong-Seon Lim University of Science and Technology jungsun0427@etri.re.kr Marcella Astrid University of Science and Technology marcella.astrid@ust.ac....
【文献阅读5】Small Object Detection using Context and Attention
我是大阿周的学习博客
12-29 4022
Small Object Detection using Context and Attention我的总结0 Abstract1 Introduction2 Related Works3 Method第 1 章 绪论第 2 章 相关理论和算法基础一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 我的总结 融合：fusion 残差注意力模块：residual attention module L2 Norm更适合融合操作 基于SSD模型，Backbone是AGG16 本篇仅是简单阅读记录
小目标检测-FA-SSD
whaosoft143ai的博客
11-03 847
小目标检测的 上下文和注意力机制提升小目标检测-FA-SSD论文：https://arxiv.org/pdf/1912.06319.pdf在各种环境中应用目标检测算法有很多局限性。特别是，因为它们分辨率低，信息有限。有研究员提出了一种利用上下文的目标检测方法来提高检测小目标的精度。该方法通过连接多尺度特征，使用了来自不同层的附加特征作为上下文。研究员还提出了具有注意机制的目标检测，它可以关注图像中的目标，并可以包括来自目标层的上下文信息。 whaosoft aiot http://143ai.com
CVPR2021小目标检测：上下文和注意力机制提升小目标检测
weixin_42390283的博客
07-11 2万+
原论文下载：https://arxiv.org/pdf/1912.06319.pdf 摘要 在各种环境中应用目标检测算法有很多局限性。特别是小目标的检测仍然是一个挑战，因为它们的分辨率低，信息有限。为了提高小目标检测的准确性，我们提出了一种基于上下文的目标检测方法。该方法通过融合多尺度特征，利用不同层次的附加特征作为上下文信息。我们还提出了一种基于注意力机制的目标检测方法，该方法能够聚焦于图像中的目标，并且能够包含目标层的上下文信息。实验结果表明，该方法比传统的SSD在检测小目标上的精度更...
小物体的目标检测的研究综述
Jack11998的博客
09-02 2531
主要是对近几年关于小目标的顶会文章做个总结以及自己对于这个领域的理解
Augmentation for small object detection.pdf
05-12
目标检测论文，Augmentation for small object detection.pdf
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 5973
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
cs213n课程笔记
njuptalex的博客
10-13 939
文章目录1. 计算神经网络（P1）1 激活函数实际操作：2 数据预处理3 权重初始化4 批标准化2. 训练神经网络（P2）1.梯度下降实际使用中2.避免过拟合3.正则化Training：Add random noiseTesting: Marginalize over the noise4.超参数调节3. 实践CNN卷积转为矩阵运算(im2col)图像卷积看作是信号中的频谱函数相乘加速矩阵乘法O(n^3)4. 迁移学习Case StudysAlso...5. 卷积神经网络案例AlexNetZFNetVGGG
生成对抗网络GANs（笔记一）主线
qq_21210467的博客
08-19 1万+
生成式对抗网络（Generative Adversarial Nets, GAN） 一、发展历程： 最开始接触GANs是因为想了解有关于在少量数据的情况下如何做数据增广。然后就了解到了DCGAN生成手写数字的案例，简直是惊为天人，然今才逐渐开始了解生成对抗网络的思想。到了后来一直想用生成对抗网络的思想做语音识别和语音合成这一方面，一直找到合适的资料。再后来，鬼使神差的想结合GANs来做毕业论文...
小目标检测small object detection
carlous0的专栏
12-09 1965
整理了两个github上两个罗列近期small object detection相关工作的链接。 第一个链接：https://github.com/kuanhungchen/awesome-tiny-object-detection 这个链接的title是tiny object，估计只有我这个小聪明能找到，这个链接比较推荐，罗列的工作都是一些较好的会议和期刊上的工作。 第二个链接：https://github.com/ispc-lab/SmallObjectDetectionList 这个链接的
小目标检测中的数据扩展（Augmentation for small object detection）
abrams90的专栏
04-18 1万+
Abstract 这些年来目标检测领域经历了令人印象深刻的进展。除了这些改进，在小目标检测与大目标检测领域还是有不小的差距。我们在MS COCO上分析了当前SOTA的模型Mask-RCNN。研究成果展示GT目标与预测的anchors的重叠远远小于期望的IoU阈值。我们猜测这可能是由两个情况导致的：1、只有少部分样本包含小目标；2、及时在包含小目标的样本中，小目标的数目也不够。我们因此提出过...
Object Detection(目标检测神文)
热门推荐
Mars_WH的专栏
08-21 6万+
目标检测神文，非常全而且持续在更新。转发自：https://handong1587.github.io/deep_learning/2015/10/09/object-detection.html，如有侵权联系删除。 Papers ———————————————————————————————————- Deep Neural Networks for Object Detection Ov...
目标检测（Object Detection）总览
qq_35608277的博客
08-08 2860
http://www.tongtianta.site/group?group_id=1 https://blog.csdn.net/u014380165/article/details/80784147 《An Analysis of Scale Invariance in Object Detection - SNIP》 arXiv：https://arxiv.org/abs/1711....
Object Detection(目标检测神文)(二)
Mars_WH的专栏
03-22 1万+
文章目录[CVPR2019] Region Proposal by Guided Anchoring[CVPR2019] Feature Selective Anchor-Free Module for Single-Shot Object Detection [CVPR2019] Region Proposal by Guided Anchoring intro: CUHK - SenseTi...
augmentation for small object detection
最新发布
03-16
小物体检测的数据增强方法包括： 1. 图像翻转：水平翻转和垂直翻转 2. 随机剪切：在图像中随机选择一个区域 3. 随机调整亮度、对比度、饱和度等 4. 图像旋转：随机旋转一定角度 5. 随机添加噪声：高斯噪声、椒盐噪声等 6. 随机缩放：改变图像的尺寸 这些方法可以有效扩充训练数据，提高模型对小物体的检测准确率。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值