参考代码:MGMap
动机与出发点
地面元素的栅格化表示和向量化表示两者的优劣是分明的。栅格化描述更符合实际几何结构特征,但是缺少直接点输出特性;向量化描述直接输出元素点坐标,但是缺少对全局和局部细节的约束能力,导致“蚯蚓线”的情况。
之前的一些算法诸如MapVR、GeMap、HIMap、P-MapNet尝试从各种维度去解决向量化描述的缺点,但其实核心的一点便是在向量化描述下如何利用好栅格化描述的信息(栅格化描述在实际量产中是已被验证的),这样有了栅格化作为性能的baseline,再从向量化维度去提升性能上限。这篇文章结合栅格化描述从如下维度去提向量化描述的性能:
- 1)感受野:由于地面元素多是跨越大半BEV空间,需要有类似FPN这样的结构去增大感受野和融合不同尺度的特征
- 2)栅格化信息定义query与优化:使用实例分割的栅格化信息与BEV特征构造inst-query(做到区分实例和隐式编码栅格信息),再与可学习point-query构建hybrid-query,逐级迭代优化
- 3)points回归精细化处理:以迭代优化后的点作为锚点按照矩形宽度 d d d做RoiAlign截取特征,这个特征编码了语义分割的栅格化信息,从而做精细化单点优化
这篇文章在query构造阶段和point点refine阶段引入栅格化信息:
- 1)第一个阶段相当于每个inst对BEV特征做了cross-attn,attn-weight就是分割概率,以此来引入栅格化信息
- 2)第二个阶段将语义分割进行编码作为栅格化信息表达,以点对齐做RoIAlign实现点的精细化回归
引入栅格化信息之后跟baseline方法进行比较,见下图: