论文精读4：Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching

---

• Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching

• 时间

  • 2020 CVPR

• 作者

  • Shi Yujiao

• idea

  • 这里面提到的，这个领域的最大的问题

    • 就是巨大的视角差异，不同的视角之间的，包括外观和物体的位置的区别

    • 方向如果不确定，那么就会引起地理位置上的模糊并且加大了搜寻的范围

    • 标准的相机是有限的视角，那么就是减少了地域图片的辨别能力

  • 两个值得注意的点

    • （i）图像中的水平线（平行于方位轴）具有近似恒定的深度，因此对应于航空图像中的同心圆；

    • （ii）图像中的垂直线深度随y坐标增加，因此对应于航空图像中的径向线。

    • 简单来说，就是水平线，横着的线，在空域里是一个圆，然后竖着的线，就是 radial line 经向线，类似下面这个，就是经线纬线

      • 

    • 然后他用了一个及坐标转换

  • 部署了一个two - stream CNN 来学习一些联系，提出了一个DSM 模块，可以来实现这个目标，具体来说，就是计算了空地特征之间的关系

• Contribution

  • 无论Field of View 如何，第一种可以估计位置和朝向的，第一个同时考虑location和orientation的方法

  • 提出了Dynamic Similarity Matching module去计算feature的相似度，从而得到ground images的orientation

  • achieves significant performance improvements

• 一些相关的

  • Liu & Li

    • 朝向提供了一些重要的线索，可以用来决定地面图像的位置

• 理论细节

  • 流程图

    • 

    • 如上图所示，整个方法的流程主要分为3个部分。首先第①部分，本论文利用Polar Transform将aerial images全部转为ground images。然后，本论文使用vgg16作为backbone提取feature maps，这里不像以前的方法把图像变成一个向量的representation，而是最后输出一对feature volume。这样做的目的就是为后续进行圆周卷积提取orientation做准备。

    • 第②部分就是计算这对feature volume的correlation。这里采用的计算方式就是圆周卷积。最后correlation最大的地方就是ground images的朝向。

    • 第③部分就是根据前一步得到的orientation将Aerial Features进行裁剪，然后与Ground Features进行距离计算。

  • 细节

    • 地面的摄像头是垂直于地面的，然后空域的摄像头是平行于地面

    • 因为是水平方向旋转的，那么就要确保CNN 将变换图像的最左侧和最右侧视为水平并列

    • 用VGG16作为底层框架，主要用前十层

    • 因为极坐标转化是水平方向的转化，那么就会带来垂直方向的volume失真，所以修改了后面三层的参数，降低了特征图的高度，保留了宽度

      • 对垂直方向的失真更加宽容

    • 降低乐feature channel number 到16

    • Dynamic Similarity Matching

      • 拥有了朝向，就可以比较特征

      • 但是，朝向并不是永远可以得到，并且朝向的错误会提升定位的困难程度，尤其是视域是有限的时候，

      • 人类在地图上给自己定位的时候，是通过自己已经看到的东西定位的

      • 通过azimuth angle axis方位角来计算，简单来说就是用inner product

        • 得分最大的那个位置，就是这个地面图片和空域图片的相对角度

      • 当地面的图片是一个全景图的时候，不论朝向知不知道，相似度结果就是L2Distance 2(1-max([Fa*Fg](i))

      • 如果有多个相同的最高分，那么随机选择一个，因为这说明，这个空域的图像有不可避免的对称性

  • 表现

    • 

    • 提升相当显著