basler相机参数简要中文说明_使用工业相机和图像采集卡实现自动驾驶技术

使用最高级别的L5级自动驾驶技术时，车上的乘客无须介入驾驶过程，也完全不需要司机进行操控。这项特殊的工程成果已由GreenTeam Stuttgart(斯图加特绿队)的学生们成功实现，目前只限在指定的测试和赛道中使用，以避免事故风险。

图像资料[来源：斯图加特大学GreenTeam注册协会]

无人操纵的“bolide”电动赛车

客户

 GreenTeamUni Stuttgart e.V.

地点：斯图加特

行业：汽车

实施年份：2018/2019

应用

自2009年以来，GreenTeam Stuttgart(斯图加特绿队)的学生每年都制造新的赛车，并在国际建造比赛- Formula Student(大学生方程式)比赛中证明了自己的实力。他们制造的赛车最初配备的是内燃机，现在研究的重点转为电动赛车，包括有人驾驶和自动驾驶车辆。多年来，GreenTeam取得了很大的成功，自2010年起已经连续保持电动赛车世界排名前十的佳绩。

他们的赛车也被称为“bolides(子弹快车)”。整个团队不分昼夜地工作了几个月，以期在这场涵盖四大动力学领域的比赛中尽力发挥出最佳表现。为此，他们必须正确掌握以下各项总体概念：包括重量与速度、电机效率、空气动力学还有电池的冷却问题，但其中最重要的部分是硬件和软件，这需要涉及到图像处理技术。

安装在车辆中的图像处理系统，其主要任务是快速、可靠、近距离地识别道路边缘、起点和终点处不同颜色的路锥，以确定距离、分配颜色并将整个路线重新构建为带有2D坐标的地图。GreenTeam 2018/2019赛季的项目经理Christian Witte解释说：“在竞赛中，所有赛车都一辆接一辆地行驶在同一路线。首先，车辆通过视觉技术为未知的路径创建地图。然后，下一步将地图用于分析车辆导航的路线，以便计算最佳轨迹，然后车辆必须按照轨迹高速行驶。”在系统的选型过程中，决定性因素在于从图像采集到结果输出的高难度实时行为，这也是将基于FPGA的图像采集卡作为首选组件的原因。不过，相机分辨率在决定过程中也发挥了次要作用。

解决方案和优势

赛车中的图像处理系统由传感器阵列组成，其中包括连接到GPU的激光雷达传感器和两台Basler 彩色面阵相机，并通过GigE Vision接口以1300万像素的分辨率和88fps的帧速率，将数据传输到microEnable IV VQ4-GPoE图像采集卡。在数字控制信号的处理方面，图像采集卡配备了特殊的扩展卡Opto-Trigger5。图像处理系统可通过开发环境VisualApplets获得所需的功能，借助VisualApplets，团队可在FPGA上针对适当的应用程序进行图形化编程，只需较短时间即可完成。

车载激光雷达传感器以及面阵相机

激光雷达传感器可以识别道路边缘、起点和终点处的路锥，识别距离至少为10米。这个距离测量是通过旋转激光来实现的，并输出带有路锥位置但不含色彩信息的点云图。相互靠近的点以图簇的形式来表示一个路锥。与此同时，两台相机使用图像采集卡来确定颜色，并将其分配给点云中的路锥。安装在车辆PC中的图像采集卡使用Blob分析将路锥周围用边界框(Bounding Box)进行分隔，并在HSV颜色空间中对它的颜色信息进行分类。

具有不同视角的传感器阵列

传感器阵列与深度学习

然后再使用深度学习算法来验证分类结果。此处所用的深度神经网络(CNN)可以区分小型的黄色、蓝色、橙色路锥以及大型的橙色路锥。学生们已经根据以前标记过的训练图像，对底层的Yolo-v3 (tiny)网络进行了调整，以满足他们的需求。Witte指出：“由于神经网络需要较高的计算能力，现在要通过图像采集卡来扩展之前所使用的GPU。神经网络依然在GPU上进行运算，以保证可以实现更快的实时分类。”

两台相机用75度的水平光圈角度采集图像，并与来自激光雷达传感器的图像相结合，组成150/160度的光圈角度。连接到图像采集卡的触发板负责控制并同步两台相机的触发。机器人操作系统(ROS)中的时间戳可确保与激光雷达传感器保持同步。

ROS包含可执行单个功能所需的全部软件组件(可分隔)，例如用于同时计算地图布局以及车辆在其中位置的SLAM算法(全称Simultaneous Localization and Mapping，中文名称即时定位与地图构建)。神经网络也在ROS中运行，用于处理来自图像采集卡的信息并由CNN执行验证。

适用于自动驾驶技术的图像处理系统的软件架构

使用VisualApplets进行图像预处理

赛车软件的核心组件是VisualApplets图形化开发环境，它可用于在用户界面上轻松快速地对FPGA处理器进行图形化编程。图像处理过程包括图像预处理，即通过调节白平衡、借助去拜耳化进行色彩转换、从RGB转换到HSV色彩空间等步骤来强化成像效果。接下来的Blob分析会将颜色相似的像素合并为一个边界框。预处理以及图像处理功能被编程在图像采集卡中的小程序上(小程序是一种用于在FPGA上执行的编码应用程序设计)。GreenTeam只需进行一天的训练就可以完成小程序的调整工作。

GreenTeam很好看与Basler合作，Witte强调说：“相机与系统完美兼容，可在不丢失图像数据的情况下提供可靠的图像采集功能，还有集成的预处理步骤和实时处理图像数据，以便快速可靠地识别路锥——所有这些优点都有利于实现这个高质量的图像处理解决方案。除此之外，还有深度学习技术和VisualApplets，为我们提供的专业知识对我们有很大帮助。”

总体而言，项目团队不用投入太多精力即可配置图像处理系统，该系统也适用于不同的光照和天气条件，无需使用特殊的额外光源。因此，即使在瓢泼大雨或酷热天气中，车辆也能始终保持正常行驶。如果系统真的宕机，依然有解决方法：可通过遥控的紧急停止功能来强制车辆立即刹车。

斯图加特大学GreenTeam注册协会成立于2009年，主要由60多名来自不同学科的学生组成，他们共同取得了这项顶级的工程成果。他们的目标是在这次建造比赛的全部七大学科领域中尽力发挥最佳表现。该团队曾经一度以1.779秒的百公里加速时间(从0加速到100km/h所需的时间)获得了有人驾驶电动车的吉尼斯世界纪录。为了取得最佳成绩，他们白天在赛道上测试赛车，并一直持续到深夜。

end

---