【RESISC45】《Remote Sensing Image Scene Classification: Benchmark and State of the Art》译读笔记

Remote Sensing Image Scene Classification: Benchmark and State of the Art

摘要

遥感图像场景分类在一系列应用中扮演着重要角色，因此受到了极大的关注。过去几年中，许多工作致力于开发各种数据集或提出多种遥感图像场景分类方法。然而，仍然缺乏对场景分类数据集和方法文献的系统性综述。此外，几乎所有现有的数据集都存在诸多局限性，包括场景类别和图像数量的规模较小、图像变化和多样性不足，以及精度趋于饱和。这些局限严重限制了新方法的发展，尤其是基于深度学习的方法。本文首先对近期进展进行了总结回顾。然后，我们提出了一个大规模数据集，称为“NWPU-RESISC45”，它是由西北工业大学（NWPU）创建的 REmote Sensing Image Scene Classification（RESISC）的公开基准。该数据集包含31,500幅图像，涵盖45个场景类别，每个类别有700幅图像。本文提出的 NWPU-RESISC45（i）在场景类别和图像总量上是大规模的，（ii）在平移、空间分辨率、视点、对象姿态、照明、背景和遮挡等方面具有丰富变化，（iii）具有高类内多样性和类间相似性。该数据集的建立将使社区能够开发和评估各种 data-driven 算法。最后，本文使用所提出数据集评估了几种代表性方法，并将报告出结果以作为将来研究的可用基线。

I. 引言

当前可用的仪器（例如，多光谱/高光谱[1_Hyperspectral_Image_Processing]、合成孔径雷达[2_Airborne_SAR_Processing]等）用于地球观测[3_Classification_Remote_Sensing, 4_EO_Data_Interpretation]，生成了越来越多不同类型的航空或卫星图像，这些图像具有不同的分辨率（空间分辨率、光谱分辨率和时间分辨率）。这些对于通过遥感图像进行智能地球观测提出了重要的需求，即允许从机载或太空平台智能识别和分类土地利用和土地覆盖（Land Use and Land Cover, LULC）场景[3_Classification_Remote_Sensing]。遥感图像场景分类是航空和卫星图像分析领域中一个活跃的研究课题，其目标是根据图像内容将场景图像分类为一组离散的有意义的 Land Use and Land Cover（LULC）类别。在过去几十年中，由于遥感场景分类在一系列应用中的重要作用，许多工作致力于发展各类方法来完成遥感图像场景分类的任务，例如自然灾害检测[5_Knowledge_Based_Landslide_Detection, 6_Automatic_Landslide_Detection, 7_Mapping_Landslides]、LULC判定[8_Scene_Classifier, 9_Multibag_Of_Visual_Words_Scene_Classification, 10_Fisher_Kernel_Scene_Classification, 11_Dirichlet_Scene_Classification, 12_Satellite_Image_Classification, 13_Semantic_Annotation_Satellite_Images, 14_Land_Use_Classification, 15_Pooling_For_Image_Classification, 16_Satellite_Image_Retrieval, 17_Feature_Selection_Scene_Classification, 18_Annotation_Remote_Sensing_Images, 19_Scene_Classification_Improved_Correlatons, 20_“Land_Use_Classification_Multifeature_Fusion, 21_Hyperspectral_Image_Classification, 22_Dictionary_Learning_Scene_Classification, 23_Visual_Elements_Land_Use_Classification, 24_Manifold_Learning_RS_Image_Classification, 25_Spatio_Spectral_Image_Classification, 26_Aerial_Scene_Classification, 27_Geographic_Image_Classification, 28_Annotation_Satellite_Images, 29_Image_Classification_Bag_Of_Features, 30_Fusion_Global_And_Local, 31_Generalized_Composite_Kernel, 32_Classification_Hyperspectral_Data, 33_Satellite_Scene_
Classification, 34_Fuzzy_Decision_Trees, 35_Urban_Classification_Analysis,, 36_Spatial_Pyramid_Image_Classification, 37_Satellite_Image_Classification, 38_Bag_Of_Visual_Words,, 39_Object_Classification, 40_Semantic_Annotation_Satellite_
Images, 41_BoL_Aerial_Scene, 42_Integrated_Visual_Vocabulary,
43_Tile_Level_Annotation]、地理空间目标检测[27_Geographic_Image_Classification, 44_Mixture_Model, 45_Rotation_Invariant_CNN, 46_High_Level_Feature, 47_Simultaneous_Detection, 48_Coarse_To_Fine, 49_Weakly_Supervised_Learning, 50_Transferred_Deep_Features, 51_Detection_Geospatial_Objects, 52_Oil_Transmission]、地理图像检索[53_Three_Layered_Graph, 54_RS_Image_Retrieval,, 55_Geographic_Image_Retrieval, 56_Texture_And_Color_Descriptors, 57_GeoIRIS, 58_RS_Image_Archives, 59_Classifying_Compound_Structures, 60_Semisupervised_Classification, 61_Local_Structure_Learning, 62_Global_Morphological_Texture_Descriptors, 63_RS_Imagery_Retrieval]、植被图绘[64_Forest_Type_Mapping, 65_Urban_Vegetation_Mapping, 66_Mapping_Vegetation_Morphology, 67_Mapping_Geomorphic_And_Ecological_Zones, 68_Urban_Forest_Mapping]、环境监测和城市规划。
  在1970年代初期，卫星图像（如Landsat系列）的空间分辨率较低，因此像素尺寸通常比感兴趣的物体更大（或至多与感兴趣的物体大小相似）[69_Landsat_Thematic_Mapper_Image]。自1970年代初以来，用于遥感图像分析的大多数方法都是基于逐像素分析，甚至对于转换过程而言是基于亚像素分析[69_Landsat_Thematic_Mapper_Image, 70_Interfacing_RS, 71_Object_Based_Image_Analysis, 72_Spatial_Concepts]。随着遥感技术的进步，空间分辨率逐渐高于典型的兴趣目标，并且这些目标通常由多个像素组成，这大大增加了同类目标之间的差异性，并且单个像素不是孤立的，而是编织成充满空间模式的图像。在这种情况下，单纯在像素级别对场景图像进行分类则较为困难或是难以实现的。
  由于对像素级的图像分类paradigm的日益不满，Blaschke和Strobl[70_Interfacing_RS] 在2001年提出了一个关键问题：“使用像素的问题是什么？”，并总结到，研究者应该关注由像素建立的空间模式，而不是对单个像素的统计分析。