包含2.9亿标签！大规模、多任务遥感图像理解数据集Satlas，遥感领域的富金矿...

关注公众号，发现CV技术之美

数据对AI研究与开发至关重要，说数据是金矿，规模大、标注多的就是富金矿，一点也不过分。

今天向大家介绍一个刚刚发布的遥感领域数据集：Satlas，它在覆盖场景广度和数据规模上都很大，包括 137 个类别和七个标签模式下的2.9亿个标签。作者在论文 Satlas: A Large-Scale, Multi-Task Dataset for Remote Sensing Image Understanding 中从基准、架构、实验结果进行详细介绍。

该数据集由艾伦人工智能研究所发布。

论文地址：

https://arxiv.org/pdf/2211.15660.pdf

▌Satlas 特点

Satlas，是一个大规模的、多任务的数据集，用于基准测试和改进遥感图像理解模型。即使仅仅将其用作为下游任务的模型预训练，也可以获得大幅性能提升。

Satlas 是在以下三个关键方面对现有的数据集进行的改进：

• 规模：Satlas包含的图像像素比现有最大的数据集FMoW多10倍，同时覆盖了地球更广（x50倍）。

• 多模态的标签：现有数据集的标签是单模态的，例如只关注分类或只关注目标检测。Satlas的标签横跨七种模式；此外，它们包括137个类别，比现有最大的数据集多2倍。

• 空间-时间性对应：标注标签与地理坐标（即经纬度位置）和时间范围有关，而不是与单个遥感图像挂钩。

Satlas 中丰富的七种标签模式的标签示例：

可以满足大部分遥感图像理解任务。

Satlas的137个标签的分类法：

其中有些描述特别细致，比如道路的属性，连车道线条数、最大速度、是不是桥。

Satlas包含了高分辨率的NAIP和中等分辨率的Sentinel-2图像，这些图像表现出非常不同的特点，如：

Satlas 的地理覆盖范围示例，其中明亮的像素表示数据集中图像和标签所覆盖的位置：

可见，采样比较密集的是北美洲、西欧，对中国的采样主要是在中东部地区（不知这种信息的公开是合法的吗，有懂得欢迎留言）。

▌SatNet架构

作者同时提出了新的统一的遥感图像理解模型SatNet，支持对Satlas中所有标签模态的预测。

▌实验结果

作者将SatNet与另外八个基线模型在Satlas上进行了比较。其他模型没有能够处理Satlas 的全部标签模态的。在七种标签模式中，当对每种模式进行单独训练时，SatNet 能够匹配或超过最先进的、专门建立的基线方法，验证了 SatNet 作为一个统一模型的有效性，可以应用于各种遥感任务。

另外还发现，在Satlas上进行的预训练极大地提高了下游任务的性能，比ImageNet的平均精度提高了16%！

数据集地址：

https://satlas.allenai.org/

作者声称数据将于2023年1月公开。

END

欢迎加入「遥感」交流群👇备注：RS