【智路】智路OS Perception Camera Service

Perception Camera Service

https://gitee.com/ZhiluCommunity/airos-edge/raw/r2.0/docs/02_Service/Perception_Camera_Service.md

单相机感知模块的主要任务是接收IP相机RTSP视频流，将其解码成RGB图片，并通过算法识别视频中的障碍物，最终将结果转换到世界坐标系。

智路OS提供了单相机感知组件的示例实现，该实现包括四个子模块：检测、跟踪、ROI过滤、回3D。

检测

通过深度学习算法实现物体识别，包括物体类别、2D框、长宽高、朝向角、底面中心点图像坐标等信息。输入图像首先经过yolov3的backbone进行特征提取，2D阶段输出目标的类别、置信度以及2D框，3D阶段输出目标的长宽高、朝向角以及物体底面中心点的2D坐标。

ROI过滤

感兴趣区域（ROI）是从图像中选择的一个图像区域，是图像分析的关注重点。ROI过滤模块的主要功能是过滤掉感兴趣区域外的物体。

跟踪

跟踪模块的主要任务是在给定图像序列中找到运动物体，并对不同帧的运动物体进行识别。每个物体都有一个确定准确的ID，可以是人、车辆、锥桶、三角牌等。跟踪算法对每一帧检测数据进行跟踪信息维护，采用度量方式（如kalman预测框、IOU、点迹势函数、deep learning方法等）进行目标关联。成功跟踪的目标输出给下游使用，而维护的目标则进入下一轮跟踪循环。

回3D

根据模型预测的图像坐标系下底面中心点的图像坐标（u，v），利用地面方程和相机内参，计算得到相机坐标系下底面中心点的3D坐标（X, Y, Z）。然后，利用模型预测的物体高度h，计算得到物体中心点在相机坐标系下的3D坐标。