【文献阅读】用于遥感图像土地覆盖分类的元学习（M. Rußwurm等人，CVPR，2020）

一、背景

文章题目：《Meta-Learning for Few-Shot Land Cover Classification》

CVPR2020里面专门添加了遥感领域的相关工作，连接：https://openaccess.thecvf.com/CVPR2020_workshops/CVPR2020_w56

文献下载地址：https://openaccess.thecvf.com/content_CVPRW_2020/papers/w11/Russwurm_Meta-Learning_for_Few-Shot_Land_Cover_Classification_CVPRW_2020_paper.pdf

文献引用格式：Marc Rußwurm, Sherrie Wang, Marco Korner, and David Lobell. "Meta-Learning for Few-Shot Land Cover Classification." In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020

项目地址：暂未公开

二、文献导读

先放上文章的摘要：

The representations of the Earth’s surface vary from one geographic region to another. For instance, the appearance of urban areas differs between continents, and seasonality influences the appearance of vegetation. To capture the diversity within a single category, such as urban or vegetation, requires a large model capacity and, consequently, large datasets. In this work, we propose a different perspective and view this diversity as an inductive transfer learning problem where few data samples from one region allow a model to adapt to an unseen region. We evaluate the modelagnostic meta-learning (MAML) algorithm on classification and segmentation tasks using globally and regionally distributed datasets. We find that few-shot model adaptation outperforms pre-training with regular gradient descent and fine-tuning on the (1) Sen12MS dataset and (2) DeepGlobe dataset when the source domain and target domain differ. This indicates that model optimization with meta-learning may benefit tasks in the Earth sciences whose data show a high degree of diversity from region to region, while traditional gradient-based supervised learning remains suitable in the absence of a feature or label shift.

地表在不同地理环境下的表现不同。比如城市，两个不同地方的城市受到的气候影响不同，植被也会表现出不同。为了获得单一类别的多样性，作者提出了一个新观点，将这种多样性视为归纳迁移学习问题，其中来自一个区域的数据样本很少，因此模型可以适用于未知区域。作者使用全局性和区域性分布的数据集来评估在分类和分割任务中，模型不可知元学习（MAML）算法的表现。作者还发现，在Sen12MS数据集和DeepGlobe数据集上，小样本学习比用梯度下降和精校正的效果要好很多。这也表明了元学习优化的模型或受益于地表区域的多样性，而传统基于梯度的监督学习方法在特征缺失或标签偏移的情况下仍然适用。

三、文章详细介绍

前面作者先提了一下迁移学习（transfer learning），就是说数据可能来自不同的域，但是却有着关联，地表覆盖就算一个很好的例子：

比如马里，巴西，波兰，安哥拉的农田，用PCA分解VGG16特征之后，可以看到他们在特征空间的位置明显有差别。然而域转换大多都是一些监督预训练好的模型。当然了，本文从元学习出发，使用MAML（model-agnostic meta-learning）模型，原理如下图所示：

这里MAML算法的伪代码作者也给出了：

实验的数据集有两个：Sentinel-1/2 Multi-Spectral (Sen12MS) Dataset和DeepGlobe Land Cover Segmentation Dataset，这里不多介绍，给出两个例子：

MAML可以优化后直接用于其他模型：

这里作者用到的模型有两部分，一个是用于分类的，一个是用于分割的。

分类模型采用CNN Classification Model，结构采用straightforward CNN architecture，7层，激活函数用ReLU。分割采用Unet。

后面就是作者的一些实验及结论了，放上部分图：

在Sen12MS数据集上，MAML除了zero-shot，其他情况下比预训练的模型效果好很多。

在DeepGlobe数据集上，对其进行split，然后进行元学习。

四、小结