基于双目视觉的汽车前向障碍物检测


(视频展示)点击打开链接

(视频展示2)点击打开链接

本测试案例用于演示自动驾驶车辆通过双目摄像头实时获取前方行驶环境三维信息,并根据三维信息以及RGB信息解析出可行驶区域,障碍物,并形成雷达视图。

这个视频中使用的测试案例源自KITTI 双目视觉案例集中的2011_09_26_drive_0009_raw_sync。

在我的设计中:

1、测试案例中的左图(左上图)和右图使用自己改进的SGM算法进行计算得到视差图,通过GPU的加速可以实时输出视差图(右中图为视差图的伪色彩图)。 可以看到,改进版的SGM算法不但速度满足了实时计算的要求,而且效果明显好于原版的SGM算法。

2、通过对视差信息的计算,获得三维点云图(右下为三维点云图),使用OpenGL渲染并输出点云图,可以更加便捷以多种视角观察点云。

3、通过地面检测算法检测可行驶路面,并将可行使路面标记为绿色区域(左中图)。 注意,由于双目视觉的便于由于在两个图片中可视范围不相同, 左图的右侧和右图的左侧缺失,所以这两部分的深度信息不可信,因此检测到的地面也不可信,实际应用中应过滤掉这两部分检测到的地面。

4、通过障碍物检测算法检测最具威胁的障碍物信息,并隐藏不具威胁障碍物信息(左下图),在图中标记为红色块。通过与原始左图(左上图)重叠,可以明显看到障碍物检测的结果。

5、根据障碍物信息和地面信息,输出模拟雷达信息(右上图)。 通过雷达信息,可以观测到车辆前部的障碍物,可行驶区域等信息。 其中距离较近的障碍物为红色,距离远的为蓝色。 由于为了更好的视觉效果,显示的距离并不是正确的比例,并且抛弃了远处的障碍物信息。

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页