paper: deep learning based semantic labeling of 3d point cloud in Visual SLAM
这篇paper是把2D的yolo v3检测与3D点云结合,实现语义点云地图
SLAM基于的是orb slam2
结构如下:
yolo v3是用来做2D图片的目标检测的,并不是作语义分割的,那如何给点云作语义Label呢?
目标检测的轮廓并不像语义分割那样,但是那块区域的label可以映射到3D点云。
那么前提是3D点云的点已经完成了聚类,label投上去,那一类的点就被打上了语义标签。
下面来说点云的聚类:
由于点很多,计算费时,所以paper中先用supervoxel算法把点云分割成superoxel,supervoxel用图的形式表示,即顶点和边的组合。
聚出来的类(顶点)称为surface patches.
每个surface patches会有一个形心c, 类似k-means算法把点聚类,
其中距离定义为d(c, pcm), pcm是plane candidates.
用RANSAC算法使总能量E最小。
Paper的创新点在于把2D的yolo检测和3D的点云结合,但是semantic label这一步不能达到实时性,性能在5s左右。