论文解读(5)-GeoHG

Learning Geospatial Region Embedding with Heterogeneous Graph
2405.14135 (arxiv.org)

摘要

目前learning comprehensive region （学习综合性的地域表示）有以下两个难点：

• 第一个是缺乏有效的特征表示
• 第二个是因为区块间的依赖过于复杂

本文的方法：

• geo-entity segmentation （地理实体分割）and point-of-interest（POI）integration
  用来捕获特征
• 将空间的关联和社会环境属性统一到一个大的异构图里（heterogeneous graph），然后在高阶区域建立模型

这样的模型还有一个非常重要的特点，支持在样本很小的情况下学习

1. 简介

为了捕获地理的特征，需要有两个重要的features：

• 一个是区域内（intra-region features）
• 一个是区域间 （inter-region correlation）

所以intra可以捕获一个区域内部的环境或者社会的特征

inter则是去寻找这个高层的联系，就不再之前单纯的位置这么简单，而是去尝试get到环境之间的联系，与社会之间的联系。

创新点：

• 通过异构图的结构去进行一个geospatial embedding
• 更高效的intra region embedding（这块后面还得在具体看一下，现在感觉这一块的工作不是很多）
• 融合了高维和低维的关系，就是不仅有地理上的关联，还有社交或者环境上的
• 实验

2. Related Work

（这些之后可以详细找论文去看）

• geospatial embedding
• graph neural network for geospatial representation
• multimodal learninig in GeoAI

3. 方法

Geospatial Region Embedding

输入是${(S_i,P_i)}_{i=1}^I$
其中S就是卫星图，P是POI data、

所以最终的Embedding是这样的：

然后才是真的得框架部分，一共分成四个部分：

3.1 Intra-Region Feature Representation

• 这一步就是如果获取域内的特征

同样对图像进行分割，一共有三个部分作为输入，卫星图、POI图还有location，即那个小块的所在位置

位置信息表示方法如下：

• 就是采用了坐标和scale的方法
  

默认情况下每一个区域是1km * 1km的，所以 D就是1

环境的Embedding

• 方法还是分割
  首先将图片分割成多个实体：
  

然后算每一个实体所占有的比例：

• 这就是Environmental Feature Embedding

社会Embedding

和环境有点类似，但是环境在语义分割的时候已经自己分好类了，社会没有这样的操作。那怎么办呢?这篇文章就想开个办法，自己设立分类，然后归类就行，最后统计每一个类别的比例：

但是这样还不够，无法体现出不同POI密度之间的区别，比如一个区域有10个POI和1000个POI，光靠比例无法区分，所以引入了一个log：

3.2 Inter-Region Correlation Representation

下面就是解决区块之间的问题了

• 用异构图来解决问题
  简单来说就是构造无向加权异构图

异构图（ heterogeneous graph）是什么?
可以看这张图：

二阶关联：

• 就是地理上的联系，

We construct undirected edges ERNR, Region Nearby Region (RNR) between regional nodes whose corresponding grid cells are spatially adjacent in a 3 × 3 grid, thereby encoding these local second-order dependencies.

• （应该是指在3*3区域内相邻的地方构造无向边）

高阶联系：

• 构造异构加权边（把之前的权值用上了）
  

所以还是分了多个类别分开构图，注意下标有两个
另一个代表category

3.3 Heterogenous Graph-Based Representation

• 然后采用了一个图神经网络去进行信息之间的连接推断
  

• N是代表neighbors

3.4 Pretraining and End-to-End Training

用contrastive learning paradigm（对比学习范式）去提高一个区域与其相关的其他区域

然后又是那个熟悉的式子，不过改了一点点，上面点乘改为了f函数说是可以自由更改。

采用了端到端的训练：
就是输入原始数据，然后得到最终结果
特性提取交给模型
如果对End-to-End Training 有问题可以看这篇：
如何理解深度学习中的端到端（End-to-end）概念_什么是深度学习端对端训练-CSDN博客

4. 实验对比

消融实验没什么好看的

这块：图的作用体现

• 这里消息描述了高维图里权值的计算

小样本泛华能力也可以：