最近在研究物体slam,会注重讲解一下这方面的工作,主要侧重于文章的创新点,对于论文具体内容不会过多讲解
创新点:第一个结合物体和nerf的slam系统
项目地址:项目链接
输入rgb和instance分割结果(id代表了是哪一个物体),同时估计相机位姿和物体状态
使用marching cubes algorithm 建立mesh(可能是因为要从隐式表达转变为地图中的显式表达),并转到世界坐标系中(因为是对每一个物体单独建模)
对象关联:(1)连续帧使用instance bbox的iou (2)不连续的使用特征点(绑定在instance中的),去解决孤立的物体和重复的物体
使用轻量级的手工方法实现物体建立,而不是学习的方法
使用EIF去除不属于物体的特征点
认为物体只在yaw角上有变化(认为物体是严格放在桌子上的)
物体建立都是在外部进行的(使用现有的物体slam,对物体单独优化)
关于nerf的部分
遵循常见的nerf的方式,不同点在于只在物体的范围内建立loss(通过instane得到物体的范围),下列只列举新加入的条件
nerf使用了a multi-resolution hash encoding(==是什么?==)
采用了并行化的训练策略
只有一个物体变化角度超过一定的阈值,才会启动对这个物体优化
每次nerf训练,都需要先将像素转移到物体坐标系(nerf是只能建立在当前坐标系下,因为ro-map是给每一个物体分配了一个nerf,所以要转到物体坐标系下)
背景颜色:
不优化遮挡的物体,同时实现过滤掉背景
下篇文章将具体说明该项目的安装和调试过程