文献整理
文章目录
- 文献整理
- A Multi-Feature Fusion-Based Change Detection Method for Remote Sensing Images
- A Survey on Vision Transformer
- Aerial Target Detection Based on the Improved YOLOv3 Algorithm
- Aircraft Rotated Boxes Detection Method Based on YOLOv5
- Airport Detection Based on Improved Faster RCNN in Large Scale Remote Sensing Images
- (ViT)AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
- Attention-Based Convolutional Networks for Ship Detection in High-Resolution Remote Sensing Images
- Bilinear CNN Models for Fine-grained Visual Recognition
- Bottleneck Transformers for Visual Recognition
- Bounding Box Regression with Uncertainty for Accurate Object Detection
- CAD-Net A Context-Aware Detection Network for Objects in Remote Sensing Imagery
- Deep Residual Learning for Image Recognition
- End-to-End Object Detection with Transformers
- Factorized Bilinear Models for Image Recognition
- Fast R-CNN
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
- Feature Pyramid Networks for Object Detection
- FPN特征提取的光学遥感图像船舶检测
- FRDet:一种基于候选框特征修正的多方向遥感目标快速检测方法
- General Multi-label Image Classification with Transformers
- Generalized Intersection over Union A Metric and A Loss for Bounding Box
- Gliding Vertex on the Horizontal Bounding Box for Multi-Oriented Object Detection
- Gradient-Based Learning Applied to Document Recognition
- Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition
- Improved Bilinear CNN Model for Remote Sensing Scene Classification
- Improving Object DetectionWith One Line of Code
- Learning RoI Transformer for Detecting Oriented Objects in Aerial Images
- Object detection in remote sensing images based on deep transfer learning
- OBJECT DETECTION FOR REMOTE SENSING IMAGES BASED ON GUIDED ANCHORING AND FEATURE FUSION
- Position Detection and Direction Prediction for Arbitrary-Oriented Ships via Multiscale Rotation Region Convolutional Neural Network
- R 2 R^2 R2-CNN: Fast Tiny Object Detection in Large-Scale Remote Sensing Images
- Real-Time Object Detection in Remote Sensing Images Using Deep Learning
- ReDet: A Rotation-equivariant Detector for Aerial Object Detection
- 传统的两个SAR检测
- SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects
- Using the Improved Mask R-cnn and Softer-nms for Target Segmentation of Remote Sensing Image
- YOLO-ACN: Focusing on Small Target and Occluded Object Detection
- 光学遥感图像船只目标检测识别技术
- 基于多尺度LBP特征融合的遥感图像分类
- 基于视觉注意机制的遥感图像船只检测
- 基于稀疏Transformer的遥感旋转目标检测
- 神经网络训练策略对高分辨率遥感图像场景分类性能影响的评估
- 增强小目标特征的航空遥感目标检测
A Multi-Feature Fusion-Based Change Detection Method for Remote Sensing Images
内容摘要
-
加权模糊聚类的特征融合
- 马尔可夫随机场特征
- Gabor滤波器是一个用于边缘检测的线性滤波器,多次卷积后可以得到Gabor纹理特征
- 以上两种特征做差分运算
- 特征融合权重根据Relief Algorithm和距离 P d , s P_{d,s} Pd,s计算,
-
海陆分割
-
Cai, L., Shi, W., He, P., Miao, Z., Hao, M., & Zhang, H. (2015). Fusion of multiple features to produce a segmentation algorithm for remote sensing images. Remote Sensing Letters, 6(5), 390–398
-
-
简单的阈值技术
-
结论
- 提高检测精度
- 但是有可能导致单一特征淹没问题
A Survey on Vision Transformer
内容摘要
-
自然语言处理领域的Transformer结构应用到图像处理领域
-
本文主要内容是Transformer在视觉应用的综述(截止到2021.8)下图是主要的发展过程
-
以上为Transformer传统结构,广泛用于NLP中
- Encoder和Decoder中包含了一个注意力机制层和一个前向传播网络层
- 自注意力机制推导:
- 输入:i位置的原值 x i x_i xi,输出i位置的注意力值 y i y_i yi(针对全局来说的重要性)
- 满足这个公式, y i = 1 C ( X i ) ∑ ∀ j e θ ( x i ) ϕ ( x j ) g ( x j ) y_i=\frac{1}{C(X_i)}\sum_{\forall j}e^{\theta(x_i)\phi(x_j)}g(x_j) yi=C(Xi)1∑∀jeθ(xi)ϕ(xj)g(xj),如果 θ ( ⋅ ) \theta(·) θ(⋅) ϕ ( ⋅ ) \phi(·) ϕ(⋅)两个函数代表的是线性的,并且 C ( X i ) = 1 ∑ ∀ j g ( x j ) C(X_i)=\frac{1}{\sum_{\forall j}g(x_j)} C(Xi)=∑∀jg(xj)1函数还可以改写成 y i = s o f t m a x ( X W θ W ϕ T X ) W g X y_i=softmax(XW_\theta W^T_\phi X)W_gX yi=softmax(XWθWϕTX)WgX
- 多头的注意力机制:通过Dot-product Self-Attention的改进,通过计算每一组内的向量分数,然后通过归一化、概率转化最终得到每个点对应的注意力程度,多头经过分组,让注意力不只是集中在一个点上,可以从多组里面分别找到需要注意的点。
- 一些其他的理论
- 在编码器和解码器中,存在残差连接以及归一化操作类似于 L a y e r N o r m ( X + A t t e n t i o n ( X ) ) LayerNorm(X+Attention(X)) LayerNorm(X+Attention(X))
- 前馈网络,通过一个线性层、一个非线性激活、一个线性层之后,得到一个输出。
-
ViT方法,纯粹通过Transformer得到输出,将图像分为一定宽度的序列,让序列进入编码器,然后进行解码得到最终的结果。,如下图所示:
-
卷积+Transformer方法,可以诸如CPVT的方法
Aerial Target Detection Based on the Improved YOLOv3 Algorithm
内容摘要
- 不画旋转框,仍然采用原本的YOLOv3架构
- 通过对DOTA数据集进行K-means聚类,得到比较多的12种anchor尺寸,将其作为YOLOv3的scale设置
- 通过对YOLOv3网络结构的修改,增加了两次的上采样,让比较小的目标对应的小feature map也可以和大目标的feature map融合,最后能够实现大目标和小目标的同时检测。
Aircraft Rotated Boxes Detection Method Based on YOLOv5
内容摘要
- Involution理解
- 通过involution的加入,让网络获得空间特异性和通道共享,在空间的感受野上更大,能够获得更远空间上的联系
- involution本身只是一个对卷积的优化过程
- 通过循环标注(CSL)实现旋转框
- 通过involution优化特征提取和精确度
- 通过coordinate attention机制,解决复杂背景和小目标分离的问题
- 具体:在YOLOv5的网络里加入CSP网络,并且用involution替换掉CSP网络的卷积,减少参数
- FPN实现小尺度的识别
Airport Detection Based on Improved Faster RCNN in Large Scale Remote Sensing Images
内容摘要
- 采用Faster RCNN作为baseline
- 训练过程改进:多尺度训练
- 损失函数的修改
- 多类别的不均衡,采用去除冗余的方法
- NMS最大抑制参数改进,RPN在ROI pooling阶段
(ViT)AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
Attention-Based Convolutional Networks for Ship Detection in High-Resolution Remote Sensing Images
内容摘要
- 在原本的SSD的基础上,增加Attention的分支
- SSD=卷积层+目标检测(卷积+平均池化)+NMS筛选层
- 目标检测里面的五个卷积层特征做融合处理
- 注意力机制采用全卷积网络
Bilinear CNN Models for Fine-grained Visual Recognition
内容摘要
-
两路CNN特征提取和语义信息,细粒度的特征提取
-
两路特征通过外积来实现池化操作,池化操作可以获取到需要的位置信息
-
端到端的训练过程(输入图片,输出类别信息),利用链式法则反向传播
Bottleneck Transformers for Visual Recognition
内容摘要
- 设计了一个Transformer结构的Bottleneck模块
- 最后三层上,ResNet结构中的512,3*3的层用多头的注意力机制层来替换
- 具体为通过前面的卷积学习低级特征,自注意力机制汇总feature map上的信息
- 通过对feature map下采样让注意力能注意到更小的目标
Bounding Box Regression with Uncertainty for Accurate Object Detection
内容摘要
- sorfter-NMS
- 本文主要对极大抑制参数的改进 使得最后的检测框能够更加趋近于ground truth 从而更加准确地预测
- 将predict框看成是高斯分布,将ground-truth看作是狄拉克函数(冲激)
- 设计KL-loss,对于模糊地标注可以被捕捉,并且获得更小地loss值
- Loss中地可学习参数可以用于后处理阶段,(NMS中使用)
- 概率分布是可解释的,可以通过Vote选出候选框中更趋近ground-truth的框
CAD-Net A Context-Aware Detection Network for Objects in Remote Sensing Imagery
内容摘要
- 设计语义获取网络(CAD-Net),获取全局语义和局部语义
- 设计空间尺度的注意力机制,需要配合特征金字塔使用,加在网络的neck位置
- 设计了一个全新的解决方案,可以桥接地面传感器和遥感获得数据上的检测器区别(类似于迁移学习)
Deep Residual Learning for Image Recognition
内容摘要
- 本文是残差网络最初的论文,主要介绍了深度残差网络的设计以及相应的作用和实践
- 现在ResNet已经被验证是可以很好捕捉特征的一个网络结构,可以很好地完成特征的提取(作为backbone主干网络使用)
End-to-End Object Detection with Transformers
内容摘要
- 本文是DETR的提出论文
- 并不是完全的Transformer结构,通过CNN提取一系列的图像特征,并且通过Transformer的编码器和解码器来实现特征的解译,从而获取到检测结果
Factorized Bilinear Models for Image Recognition
内容摘要
- 分解双线性的操作来理解成对特征的影响,并且这样提取到的可以很好融合到卷积、全连接层
- 通过随机特征丢弃来实现过拟合的防止
Fast R-CNN
内容摘要
- 设计了RoI pooling层,和SPP网络相同,但是不再有多尺度的pooling,作者分析后认为不需要多尺度也可以获取到比较好的结果
- RoI Pooling的输入适度要求一样
- 设计了Multi-task的Loss函数
- 用softmax代替了SVM的分类器改进
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
内容摘要
- 本文是Faster R-CNN的提出,其中最大的贡献是提出了RPN网络(感兴趣区域提议网络)
- 为了提升速度,让RPN网络和Faster RCNN的主干网络共享所有的特征,RPN先提议所有可能的RoI,再通过RoI Pooling层进行RoI的最终确定
- 网络结构上可以参考下方图,可以看出特征共享的特征:
Feature Pyramid Networks for Object Detection
内容摘要
- 本文提出了特征金字塔的网络
- 提出了Bottom-up路径,上采样不同的输出适度,来丰富金字塔特征
- 提出了Top-Down路径和横向连接:上采样获得到更高分辨率的特征,下采样获得到更低分辨率的特征,通过横向连接来进行增强操作
FPN特征提取的光学遥感图像船舶检测
内容摘要
- FPN在遥感图像上的使用
FRDet:一种基于候选框特征修正的多方向遥感目标快速检测方法
内容摘要
- RPN以及Focal Loss(前景和背景分割)在遥感上的使用
General Multi-label Image Classification with Transformers
提出了C-Tran 作为分类的Transformer结构
Generalized Intersection over Union A Metric and A Loss for Bounding Box
内容摘要
- 提出了G-IOU Loss
- 进一步提升了RoI和Ground truth之间的精确匹配度
- 任意两个形状的RoI都可以通过GIOU来构造Loss
Gliding Vertex on the Horizontal Bounding Box for Multi-Oriented Object Detection
内容摘要
- 滑动顶点的方法来获得到旋转框,
- 增加了glilding offset的参数,所以需要修改对应的全连接层
- 可以通过下方图片来理解本文的主要贡献
Gradient-Based Learning Applied to Document Recognition
梯度下降的提出
Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition
内容摘要
-
提出了原始的双线性只采用了最后一层特征,忽略了内部层级之间的特征关系,并且传播过程中会有信息损失,所以需要充分利用特征
-
层次双线性:通过跨层次来获取不同层之间的特征关系
-
为了提升解译特征的能力,通过多层、跨层的特征双线性融合来获取更多的特征
Improved Bilinear CNN Model for Remote Sensing Scene Classification
内容摘要
- 将BCNN用于遥感图像的分类
- 主要贡献(改进):减少了参数两和池化的特征维度
- 减少了计算复杂度,提升分类速度,省去了用于detection的heavy branch
Improving Object DetectionWith One Line of Code
内容摘要
- Soft-NMS的提出
- 相比原先的NMS,主要贡献是设计了衰减参数来变换常量NMS,优化了原先NMS在 N t N_t Nt的值选取上会存在的精度下降的问题,通过自动衰减来提升精度
Learning RoI Transformer for Detecting Oriented Objects in Aerial Images
内容摘要
- 模块化RRoI,能够让水平的RoI可以转换为旋转的RoI
- RoI-Transformer的提出,用于摇杆目标的检测的转换器
- 作为一个轻量级的Transformer可以被嵌入到其他的网络
- 主要提取的是空间不变特征,提升效率、降低复杂度
Object detection in remote sensing images based on deep transfer learning
内容摘要
- 迁移学习在遥感上的应用
- 用自然图像的模型来解决遥感图像数据不够的问题
- 提出领域自适应的Faster R-CNN图像水平和实力水平的结构
OBJECT DETECTION FOR REMOTE SENSING IMAGES BASED ON GUIDED ANCHORING AND FEATURE FUSION
内容摘要
- 遥感图像上的金字塔特征融合
- 指导锚点模块产生方框
- 金字塔结构取得特征,RoI对其后融合,RoI特征通过相加池化进行融合
- 合成的特征被用于全连接,得到不同类别的和精确位置
Position Detection and Direction Prediction for Arbitrary-Oriented Ships via Multiscale Rotation Region Convolutional Neural Network
内容摘要
- CNN实现遥感图像的位置和方向双重检测
- 擦用了Rotate NMS的极大抑制参数
- 稠密的特征金字塔结构
- 多尺度特征融合并且运用了RRoI的对齐工作
R 2 R^2 R2-CNN: Fast Tiny Object Detection in Large-Scale Remote Sensing Images
内容摘要
- 切片、先分类后检测的两阶段网络:分类更轻量,不用让整张大幅度的图片经过检测器
- 设计了一个Tiny-Net的残差网络
- 使用特征金字塔作为全局注意力机制模块,特征金字塔特征被融合,可以获取到更多的予以信息
- 尺度不变的锚点策略
- 有效的放大缩小结构,位置敏感的感兴趣区域
Real-Time Object Detection in Remote Sensing Images Using Deep Learning
内容摘要
- 分块处理,提升效率
- 相似类别标注,可以学习到更多的相似类的区别
- 预处理操作,提升精度
ReDet: A Rotation-equivariant Detector for Aerial Object Detection
内容摘要
- 角度等变特征和角度不变特征的提取
- 角度等变特征进入主干网络
- 提出了RiRoI,用于提取角度不变特征(空间维度对齐特征、角度不变特征)
网络结构如下:
传统的两个SAR检测
Remote sensing detection enhancement
内容摘要
遥感检测增强,通过速度匹配滤波器、检测前跟踪算法、高斯混合模型的背景估计以及噪声估计模型来检测。
Ship Classification in SAR Images Improved by AIS Knowledge Transfer
内容摘要
利用A-SVM算法以及就AIS知识迁移
SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects
内容摘要
- 针对密集、小的目标的优化
- SF-Net(Sampling Fusion Network)特征融合和锚点采样
- MDA-Net(Multi-Dimensional Attention Network)多尺度的注意力机制,通道注意力和像素级别的注意力机制
- L1正则化中加入了IOU常量,更具备鲁棒性
网络结构:
Using the Improved Mask R-cnn and Softer-nms for Target Segmentation of Remote Sensing Image
内容摘要
- 对Mask R-CNN进行改进,加入了预测模块,来解决再分割分支上的Mask R-CNN训练困难的问题
- 用softer-NMS代替NMS
-
Y. He, C. Zhu, J. Wang, M. Savvides and X. Zhang, “Bounding Box
Regression with Uncertainty for Accurate Object Detection,” 2019
IEEE/CVF Conference on Computer Vision and Pattern Recognition
(CVPR), Long Beach, CA, USA, 2019, pp. 2883-2892.
YOLO-ACN: Focusing on Small Target and Occluded Object Detection
内容摘要
- 在YOLO v3的基础上加入了CIOU,用于代替GIOU
- 加入了注意力机制
- 更加轻量化
- 加入了soft-NMS
网络结构如下:
光学遥感图像船只目标检测识别技术
内容摘要
- 预处理阶段采用去噪、去雾的算法
- 灰度阈值分割、纹理分析、区域生长法多种图像特征的提取
- 显著性计算模型的应用
基于多尺度LBP特征融合的遥感图像分类
内容摘要
- 提取多尺度局部二进制模型特征
- 通过多尺度的融合和灰度特征的融合进行分类操作
基于视觉注意机制的遥感图像船只检测
内容摘要
- 改进Itti模型,采用纹理特征、频域特征
- 特征显著图融合,网路训练
基于稀疏Transformer的遥感旋转目标检测
内容摘要
- DETR模型在遥感图像上的运用,并且设计了旋转框的识别
神经网络训练策略对高分辨率遥感图像场景分类性能影响的评估
内容摘要
- 加入学习率热身训练
- 加入了无偏置的衰减
- 标签平滑
- 分类的进一步提升
增强小目标特征的航空遥感目标检测
内容摘要
- HRnet的并行网络结构
- 特征金字塔的多尺度融合以及LSTM模块结构