Scan context: 3D点云的场景识别/回环检测

作者丨铜离子c@知乎

来源丨https://zhuanlan.zhihu.com/p/214309563

编辑丨3D视觉工坊

回环检测，或者说场景识别问题，关键在于如何构建每个场景（图片/点云）的“唯一指纹”。

Scan context （IROS18）: 针对于点云数据的全局描述符

题目：Kim, Giseop, and Ayoung Kim. "Scan context: Egocentric spatial descriptor for place recognition within 3d point cloud map."2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018.

代码：https://github.com/irapkaist/scancontext

论文：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8593953

回环检测（场景识别）=场景描述+搜索，Scan context的作用是作为描述符来描述点云数据，其搜索算法则是保证回环能够快速检测出来的核心算法。

利用3D点云做场景识别的一般思路

相比较之下，3D点云的回环检测相比较于视觉回环检测更加困难，原因主要是3D点云缺乏色彩信息，纹理信息等，无法提取出传统的图像所特有的特征（ORB，SIFT等）；如果不对点云数据进行预处理的话，就只能进行几何匹配，消耗较高；试想通过降维的方法，将3D点云降维到2D图像，2D图像保留的是深度信息表征，通过类似对彩色图像继续回环检测的方法，对降维的2D点云也进行特征提取和描述

预想的难点：1. 降维的形式，尽可能多的保留深度信息；2. 描述符的编码 3.相似度打分

0. Scan context的设计

降维的方式如上图，最后呈现出来的二维图中，横轴代表环向维度，纵轴代表径向维度，矩阵中的像素值是取的对应环向和径向相交区域（bin, 注意是具有一定体积的空间区域）点的最大高度；

直观感受降维后的图像，像是“凹凸不平”的山脉图（因为是用最大高度作为像素值），较好地保留了几何结构信息；论文中用了2.5D的表述，很贴切，这就像是moba类游戏的地图建模，虽然地图本质上3D的，在固定了视角之后就呈现出2.5D的效果，但是丝毫不会影响玩家对地图结构的判断。（这里以雷达光心为圆心，将“地图”进行了展开，但不影响理解它是2.5D的地图）

1. 描述符编码

降维后的Scan context就是一个Nr*Ns的矩阵，矩阵存储的值就是“地貌”的高度值；这个矩阵就是对该场景的编码，由于包含了全局信息，所以是一个全局的描述符

2. 相似度打分：列向比较

Scan context的特点是：由于雷达视角的不同，即当雷达在同一地点纯转动了一定角度之后，列向量向量值不变，但是会出现偏移；行向量的行为是向量中元素的顺序会发生改变，但是行向量不会发生偏移。为什么采用列向比较？论文给出的理由是能够对动态物体更有效。（不是很理解这个理由）

为了解决列向量偏移的问题，相似度打分采用调整列顺序后的最小距离作为相似度：

3. 总结

论文总体上比较好理解，核心就是为了利用点云数据进行场景识别，对原始点云数据进行了降维处理，保留成2.5D的形式，没有破坏几何结构信息（类比moba游戏的地图）；直接利用这种二维矩阵格式的数据作为描述符进行相似度比较。本质上我认为难点在于降维+相似度打分的pipeline具体设计，思路设计倒是常规思路。以及后面的搜索算法是基于这种形式有所优化的。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~