CS-Net: Deep Multibranch Network Considering Scene Features for Sharpness Assessment of Remote Sensi

1 引言

本文主要是对《CS-Net: Deep Multibranch Network Considering Scene Features for Sharpness Assessment of Remote Sensing Images》这篇论文的一个解读与总结，原文链接：CS-Net: Deep Multibranch Network Considering Scene Features for Sharpness Assessment of Remote Sensing Images | IEEE Journals & Magazine | IEEE Xplore

本篇论文是对遥感图像清晰度评估的一个模型设计。作者采用了MIM（多任务模块）将场景分类任务与清晰度评估模块进行合并，通过多任务学习可以共享与场景分类和清晰度评估相关的特征。模型首先采用了IAM（改进注意力模块）将空间注意力和通道注意力组合，分别改进两个注意力，将他们组合起来。然后采用FFM（特征图融合模块）将不同尺度的特征图通过不同的权重进行融合。最后采用DBLF（双分支损失函数）采用梯度平衡策略，秉持着优先解决挑战性高的任务原则设计损失函数权重。

2 现已有的研究

2.1 基于空间域

基于空间域的方法是通过提取梯度和边缘信息等空间特征来评估图像清晰度。梯度是通过灰度梯度函 数提取的，该函数通过测量相邻像素之间的差异来评估图像的清晰度。

2.2 基于频域

基于频域的方法通过频域中的高频和低频分量的变换来评估图像的清晰度，这些分量代表图像的清晰和模糊区域。常用的评价函数包括傅立叶变换和小波变换。

2.3 基于机器学习

基于机器学习的方法主要依靠支持向量回归和支持向量聚类技术。随着深度学习方法的不断发展，越来越多的基于深度学习的方法被用于图像清晰度评估。

2.4 存在的问题

即使现已经存在多种图像清晰度评估方法，但在评估遥感图像的清晰度方面仍然存在许多挑战。遥感图像覆盖面广，场景复杂多样，纹理信息丰富。此外，遥感图像的获取常常受到模糊和噪声的影响。

同时，现有的许多方法未能充分考虑场景特征、模糊和噪声的影响。因此统一的评价指标可能无法准确描述清晰度的变化水平为了解决上述问题，提出了一种基于考虑场景特征的深度多分支网络的遥感图像清晰度评估方法。

3 模型设计

总的模型架构图如下：