视觉笔记向 | 图像与雷达的数据融合算法（上）

1.1数据融合的提出及应用

在多传感器系统中，由于信息表现形式多样性，数据量的巨大性，数据关系的复杂性，以及要求数据处理的实时性、准确性和可靠性，都已大大超出了人脑的信息综合处理能力，在这种情况下，多传感器数据融合技术应运而生。

1.2数据融合的原理与定义

收集、特征提取、模式识别、关联、一致性解释与描述

实现多数据融合需要解决以下几个问题：

1. 数据对准 （2）信息相关 （3）同类或异类数据

1. 传感器观测数据的不确定性 （5）不完整、不一致及虚假数据
2. 数据关联 （7）粒度 （8）信息安全 （9）性能评估 （10）态势数据库

1.3数据融合系统架构

第1区 数据准备区：主要进行融合前数据的准备工作，包含数据预处理和零级联合检测。

第2区 目标融合区：主要进行目标的融合处理，包含1级目标状态估计和2级目标身份判断。

第3区 形势评估区：主要进行战场形势评估，包含3级态势评估和4级威胁估计。

管理单元：特指第5级融合管理，主要对数据融合系统的效率进行估计、优化。

1.4 数据融合算法

2.1 摄像头标定

图像数据处理：1、摄像头标定 2、图像灰度化 3、自适应二值化 4、车道线检测 5、目标车辆跟踪

2.2图像灰度法

2.3 自适应二值化

图像二值化（image binarization）就是将图像上的像素点的灰度值设置为0或255。

二值化使图像中数据量大为减少，从而能凸显出目标的轮廓，二值化的阈值确定的好坏直接影响到效果。

2.4 车道线检测

车道标识线的准确检测是实现车辆自动导航和车辆安全辅助驾驶的首要问题，为了得到较理想的车道的标线边缘，利用车道的边缘特征对车道图像进行二值化和形态学处理，对车道区域实现准确的边缘检测，最后利用Hough变化定位出车道标识线，完成对车道标识线的识别。

道路预处理：道路图像灰度化、道路图像滤波、道路图像增强

车道线特征提取：二值化、图像边缘提取（sobel算子、canny算子、kirsch算子）、透视变换

车道线检测

  由于车道标识绝大部分情况下是直线型的，所以一般使用Hough（霍夫）变换提取道路线。Hough变换方法是利用图像全局特性而直接检测目标轮廓，在预先知道区域形状的情况下，可以得到边界曲线，而将不连续的边缘像素点连接起来，并可以直接分割出某些已知形状的目标。

2.5 目标车辆跟踪

目标车辆检测与跟踪的影响因素：

车辆自身阴影、同车型的相似性、车辆间互相遮挡、光线突变、背景中物体遮挡、夜晚及恶劣天气