BigEarthNet MM：一个用于遥感图像分类和检索的大规模、多模式、多标签基准档案

AI智博信息

于 2024-09-15 23:37:54 发布

阅读量70

点赞数

分类专栏：计算机视觉文章标签：分类数据挖掘人工智能

原文链接：https://ieeexplore.ieee.org/document/9552024

版权

计算机视觉专栏收录该内容

33 篇文章 0 订阅

订阅专栏

1、原文

BigEarthNet-MM: A large-scale, multimodal, multilabel benchmark archive for remote sensing image classification and retrieval.

https://ieeexplore.ieee.org/document/9552024

2、摘要

该文章介绍了多模式BigEarthNet(BigEarthNet-MM)基准存档，包括590,326对Sentinel-1和Sentinel-2图像补丁，用于支持多模态、多标签遥感(RS)图像检索和分类中的深度学习(DL)研究。BigEarthNet-MM中的每一对补丁都使用2018年CORINE土地覆盖(CLC)地图提供的多标签进行注释，该地图基于其主题上最详细的3级类别命名法。我们的初步研究表明，某些CLC类很难通过仅考虑（单一日期）BigEarthNet-MM图像来准确描述。在本文中，我们还介绍了一种替代类命名法，作为原始CLC标签的演变，以解决这个问题。这是通过根据BigEarthNet-MM图像的属性在19类的新命名法中解释和安排CLC3级命名法来实现的。在我们的实验中，我们通过考虑几个最先进的DL模型，展示了BigEarthNet-MM在多模态、多标签图像检索和分类问题方面的潜力。

我们还证明了经过训练的DL模型BigEarthNet-MM从头开始的表现优于在ImageNet上预训练的那些，尤其是在一些复杂的类别方面，包括农业和其他植被和自然环境。我们在https:bigearth.net上公开了所有数据和DL模型，为支持RS中多模态图像场景分类和检索问题的研究提供了重要资源。

3、正文

---------------------------------------------------------------

------------------------------------------------------------------------

-------------------------------------------------------------------

----------------------------------------------------------------------------

----------------------------------------------------------------------------------

4、结论

在本文中，我们展示了BigEarthNet-MM基准存档，其中包含590,326对Sentinel-1和Sentinel-2图像块，并采用新的基于CLC的类命名法，以更加公正地考虑所考虑图像的属性。BigEarthNet-MM在RS中使用DL方面取得了重大进展，为支持多模态、多标签RS图像场景分类和检索框架中的研究提供了有希望的方向。BigEarthNet-MM适用于评估基于DL的方法，用于1）从类不平衡的多模态数据中学习（因为LCLU类在BigEarthNet-MM中的表示不均等）；2）迁移学习（因为BigEarthNetMM目前只包含来自少数欧洲国家的图像对）；3)用于从大数据档案中发现信息的无监督、自监督和半监督多模态学习。

值得注意的是BigEarthNet-MM有局限性对于需要时间序列数据来准确描述LCLU类别的RS应用程序，例如非灌溉耕地和永久灌溉土地。我们还注意到，一些Sentinel-1图像块可能会受到由众所周知的射频干扰[16]或其他与数据集相关的问题引起的伪影的污染，这些问题与构建BigEarthNet-MM时应用的预处理步骤无关。最后，我们想指出的是，由于使用了CLC地图中的标签，BigEarthNet-MM存档可以扩展到更大的规模。在欧洲境内，注释成本为零。作为这项工作的未来发展，我们计划通过将BigEarthNetMM档案扩展到整个欧洲来丰富它。