工程上视觉检测跟踪识别综合级联系统

最近自己基本疏通了视觉检测跟踪识别综合系统的整个思路，系统如下:视觉数据预处理—>背景建模—>特征提取—>分类器—>预测跟踪滤波器—>目标综合信息识别

一、视觉数据预处理：

做视频处理前，如果前期视频质量太差，后期再好的处理算法也无济于事，因此需要对要处理的视频进行预处理。

预处理流程如下：

1.      用视频质量检测系统对视频质量进行前期评估

2.      对较差的部分进行相应的调整。如：

2.1  手动对摄像头角度进行调整。

2.2  程序实现清除噪声：如雪花、大雾等

   本模块，输入实际视频，输出处理后理想源视频。

二、由于现阶段没有一个建模的算法能在大部分场景进行通用，所以在研究出先进算法之前，我们可以对现有的成熟的实用的背景建模算法进行综合使用。

软切换：通过对每个算法进行求加权和。

硬切换: 把先验知识和预处理阶段的结果综合考虑，使用效果最好的算法。

注意: 本阶段，要把目标全部提取。本着“宁多无漏”原则，一定不能把目标漏掉。

本模块，输入理想源视频，输出背景图和前景图及目标信息向量。

三、特征提取阶段

目标特征主要以下几种：

3.1颜色特征

使用颜色直方图、颜色距（一阶矩，二阶矩，三阶矩）、颜色一致性矢量（ccv）、颜色相关图等。

优点计算量小，抗旋转等，缺点，不抗遮挡，噪声影响大。

3.2纹理特征

结构法：从纹理图像的结构角度分析纹理基元的形状排列等。面积，周长，偏心度，方向，延伸度。

统计法：灰度直方图的矩，自相关函数，灰度共生矩阵分析，边缘频率和基元行程长度等。

频谱法：将空间域纹理变换到频域中，FT,小波变换模型法：Markov随机场模型，自回归模型，金字塔小波分析和分形。

优点，特征提取准确。缺点，算法计算量大，对视频的分辨率要求较高。

3.3形状几何特征

不变距、Freeman链码

几何参数法：外接矩面积、周长,圆度，偏心率，主轴方向，代数不变矩,Hausdorff距离。

3.4 其他特征：空间特征（空间关系，方向关系，结构关系）；字符特征（目标中含有固定字符，如车牌，标志等）等。

常见的特征模型：Gabor模型、DCT模型、SIFT模型、SUPF模型、HOG模型等等

本模块，输入前景区域目标源视频块，输出特征向量或矩阵（保留空间相关性）。

四、分类器

由于背景建模阶段，提取的前景存在很多噪声。通过分类器阶段，滤除部分噪声。

常见分类器，贝叶斯分类器，boosting分类，svm，haar分类等。

在这里，需要指出的是，不同的分类器，他们有各自擅长的领域。如haar分类器对人脸识别比较擅长等。

本模块，输入目标的特征+源图像+前景图像，输出精确后的目标位置运动信息向量。

五、预测跟踪滤波器

由于分类器的相似度阈值，在经过分类器阶段还会存在噪声，所以就需要跟踪滤波器对每个目标精确到唯一。

常见的跟踪滤波器：Kalman滤波器、粒子滤波器、meanshift等。

本模块，输入比较准确的目标位置运动信息的量测数据，输出每个目标位置运动信息的唯一标示。

六、目标综合信息识别

对目标进行跟踪的真正目的是对目标综合信息进行识别，从而分析目标的行为（检测其速度、是否越线等），识别目标的外观信息，建立目标的综合数据库。