【项目整理】图像变化区域及弱小伪装目标快速检测技术

写在前面

因整理简历需要，将项目放在博客中简单介绍一下

项目描述

针对遥感目标成像微弱和伪装两个特性，利用数据多源和上下文信息实现复杂环境下的遥感目标检测及变化检测，实时、高精度地对保护区域进行低空小目标及场景变化监测。

融合可见光与SAR影像特征的伪装目标检测

本项目拟研究多源影像目标特征提取和特征融合，包含两个关键模块，即特征提取模块和特征融合模块。本项目通过采用两种不同的神经网络分别提取可见光影像特征和SAR影像特征。同时，本项目为了能高效率的利用这两种特征，将两种特征拼接成一个序列，然后利用Transformer同时进行模态内和模态间信息融合，并鲁棒地捕捉RGB和SAR之间的潜在交互，综合利用这两种图像所蕴含的信息来对伪装目标进行检测，从而提高目标检测的准确性。

首先对于可见光影像采用CSP-Darknet53作为骨干网络，用于提取不同尺度的特征，通过FPN-PAN架构得到浅层与深层特征融合的三种尺度特征，尺寸分别为原图的1/8、1/16和1/32，通道数分别为256、512和1024。
对于SAR影像在CSP-Darknet53网络的基础上添加坐标注意力机制和通过加权双向特征金字塔生成泛化能力更强的多尺度特征，尺寸和通道数与可见光特征提取的特征图保持一致。

特征提取模块

可见光和SAR图像提取模块示意图 首先输入可见光影像(图片尺寸为640×640，3通道)，采用进行一系列的卷积、池化操作，得到三种深度的特征；通过FPN结构，自底向上地得到三种不同尺度的特征图，尺寸分别为原图的1/8、1/16和1/32，通道数分别为256、256和512；通过PAN结构，自顶向下地得到三种不同尺度的可见光影像特征图，尺寸分别为原图的1/8、1/16和1/32，通道数分别为256、512和1024； 然后输入SAR影像(图片尺寸为640×640，3通道)，在原有主干网络的基础上增加了坐标注意力机制（Coordinate Attention，CA）模块，得到三种深度的SAR影像特征；通过加权双向特征金字塔结构生成三种不同尺度的SAR影像特征图，尺寸分别为原图的1/8、1/16和1/32，通道数分别为256、512和1024。

特征融合模块

特征融合模块示意图 首先输入两种尺度相同的特征图，分别进行下采样；保持通道维度不变，将两种特征图的其他维度拉平为一个序列；通过将特征图的宽度和高度进行嵌套循环生成一个位置编码矩阵来为每个特征点生成位置编码；将拉平后的序列和位置编码矩阵输入到一个Transformer模型中，通过自注意力机制和多头注意力机制，对不同模态特征进行融合，得到一个输出序列； 然后将输出序列一分为二，上采样并还原为输入时的尺度，得到对应的特征图；将处理后的特征图与2.1中输入的特征图相加，并通过1×1的卷积得到预测结果； 最后将对应尺度可见光影像的预测结果和SAR影像的预测结果相加，得到三种不同尺度的预测结果。