Lift, Splat, Shoot(LSS)

整个模型的作用,就是将单个摄像头2维的信息先 lift 到3维,然后再将多个摄像头3维的信息进行splat(拼接)。然后再去对历史轨迹进行shoot,预测主车未来的行驶轨迹。
从二维转到三维需要满足一下三个性质:1. 转换完之后障碍物的性质是不会改变的;2. 和camera的顺序无关;3. 和camera所处位置无关。
在这里插入图片描述
提出了一种模型可以端到端的转换鸟瞰图并做相应的轨迹预测。
在这里插入图片描述
Lift阶段:将2D信息转换为3D信息还需要补充一个depth信息,所以可以对depth信息先离散化,形成一个点云(h, w, d);然后使用一个α去映射depth信息。训练的时候用激光雷达作为真值。
在这里插入图片描述
Splat阶段,模仿了pointpillar将各个camera的点云信息拼接起来,拼接的时候会利用到camera的内外参信息。然后再用CNN将拼接完的BEV进行识别。
在这里插入图片描述
为了增加模型的推理速度,用累加pooling来替代sum pooling
在这里插入图片描述在这里插入图片描述
Shooting: 可以实现从感知到规划的端到端motion planning
在这里插入图片描述
利用聚类先去获得1000条专家轨迹。
在这里插入图片描述
用真值去找到L2距离最小的template,然后再使用cross entropy loss去计轨迹的置信度。
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值