RO-MAP 论文阅读

最近在研究物体slam，会注重讲解一下这方面的工作，主要侧重于文章的创新点，对于论文具体内容不会过多讲解

创新点：第一个结合物体和nerf的slam系统

项目地址：项目链接

输入rgb和instance分割结果（id代表了是哪一个物体），同时估计相机位姿和物体状态
使用marching cubes algorithm 建立mesh（可能是因为要从隐式表达转变为地图中的显式表达），并转到世界坐标系中（因为是对每一个物体单独建模）
对象关联：（1）连续帧使用instance bbox的iou （2）不连续的使用特征点（绑定在instance中的），去解决孤立的物体和重复的物体

使用轻量级的手工方法实现物体建立，而不是学习的方法
使用EIF去除不属于物体的特征点

认为物体只在yaw角上有变化（认为物体是严格放在桌子上的）

物体建立都是在外部进行的（使用现有的物体slam，对物体单独优化）

关于nerf的部分

遵循常见的nerf的方式，不同点在于只在物体的范围内建立loss（通过instane得到物体的范围），下列只列举新加入的条件
nerf使用了a multi-resolution hash encoding（==是什么？==）
采用了并行化的训练策略
只有一个物体变化角度超过一定的阈值，才会启动对这个物体优化
每次nerf训练，都需要先将像素转移到物体坐标系（nerf是只能建立在当前坐标系下，因为ro-map是给每一个物体分配了一个nerf，所以要转到物体坐标系下）

背景颜色：

不优化遮挡的物体，同时实现过滤掉背景

下篇文章将具体说明该项目的安装和调试过程