Zero-Shot Multi-View Indoor Localization via Graph Location【2020】

Graph Location Networks (使用graph、multi-view、indoor)

整体系统框架：

 

再建图的时候已经踩好了采集点，为每个采集点进行编号，这样localization问题就变成了每次query的时候在哪个采集点的概率问题（这样就是一个分类问题）

因此输出的position是一个有损的（和database中的采集点的密度有关）

 

3 METHODOLOGY

    

 

系统输入一系列query image x，通过关联X（database的image），输出可能位置y（1，2，3，4…k），得到最后最大的概率的位置。

文中的query image 是在同一个地点的四张图（前后左右（其实也可以环视采样或者使用全景图？？？））

3.2 Standard Graph Location Networks

      整体网络包含三部分：1. 特征提取模型。2. 位置预测模型。3.确定精确位置网路

 

3.2.1 Feature Extraction Module.

       首先类似传统的feature 提取方案，将四张图（前后左右）输入CNN网络，得到他们的heat map

 

3.2.2 Message Passing Module.

        图神经网络（GNNs）能够聚集相邻节点的信息并相应地更新节点的隐藏状态（哎？那么在image retrieval的时候是不是可以加上gnn网络融合多个邻域节点的信息进行query，这样精确度将会更高呀？？？）

更新heatmap公式：（核心思想就是每个节点融合了邻域之间的隐藏信息）

 

3.2.3 Location Prediction Module

    最后将gnn输出的feature通过全链层直接进行多分类，这里不难想出使用交叉熵损失：

    

 

整体网络框架如下：

 

 

3.3 Zero-Shot Graph Location Networks

there are three key steps to perform zero-shot indoor localization:

    1.训练一个map to vertor的编码器

    2.训练一个融合1中的编码器+gln的function

    3.zero short 识别

 

3.3.1 Map2Vec Location Embedding

    这个编码器指的是将map中的位置信息编码，比如对map进行采样：

注意！！！！该网络的所有信息只有位置（x，y），如果是3d可以是（x, y, z）

 

3.3.2 Compatibility Function

    学习image 和上述位置graph融合函数，使正确的位置概率最大：（这里没太懂？？？？？？？）

 

最后预测方程：