论文精读5： Geolocation Estimation of Photos using a Hierarchical Model and Scene Classification

---

• Geolocation Estimation of Photos using a Hierarchical Model and Scene Classification

  • 作者

    • Eric

      • TIB的科学助理，莱布尼茨大学工学博士

  • 时间

    • 2018

  • idea

    • 现在的有关图片定位的技术有很大的应用场景，但是还是很受限，没有关注

    • 引入了很多深度学习的方法，并且将这个问题视为一个分类问题，把整个地球分成许多个地理块

    • 开发了一个hierarchical knowledge of multiple partitionings 分层的模型和分类

    • 通过不同的神经网络，可以得到不同空间地区的contextual information 语义信息

    • 有很多限制因素，比如不同的角度，白天的时间，摄像机时间，所以很多的算法都关注的urban 城市图片

    • 这个就是一个trade off，就是如果你更关注城市尺度，就是(1km之下)，那么需要更精细的划分，如果你需要关注国家尺度（750km，就需要更粗糙的划分）

    • 城市的场景更多的靠建筑、人类和街道、汽车等区分

    • 森林等自然的场景主要靠动植物flora and fauna 或者 interior furnishings 室内陈设

    • 地理位置的定位可以从 contextual knowledge 语义

    • 作者提出的方法

      • 在多分区方法中合并不同空间分辨率的层次知识

      • 对不同的类型的地理位置（室内、自然环境、城市等）

      • 把地球划分成很多个geolocalization

    • 针对不同的场景种类，有两个策略

      • 针对不同的场景，分别训练

      • 同时训练，有标签

  • 实施

    • 对场景分类应用了ResNet模型，基于Places 2数据集。

      • 已经在365个不同地点类别的1600多万张图片上进行了训练

    • Baseline system

      • 不依赖于不同环境和不同空间分辨率的信息

      • 在Resnet上添加一个全连接层

    • Multi Partitioning Variant

      • 给不同的分区加了全连接层，用不同分区的Loss来计算所有的损失值

    • 对不同的场景进行单独的培训

    • 使用了层次化的地理分类，在不同的层次结构都×概率

    • 使用了预测结果的平均值而不是预测中心