android摄像头矩形框提取_视频图像摄像头跟踪的上位机系统设计

1. ​背景介绍

视频序列中的目标进行跟踪是计算机视觉的热门研究领域之一，其主要过程是首先在视频序列的第一帧图像中选定跟踪目标，之后运行跟踪算法，实现在后续帧中预测跟踪目标的位置。本系统设计了一个集成视觉目标跟踪算法的上位机，可以读入的视频以及实时的摄像头采集的视频进行跟踪。

2. 视频目标跟踪基本框架

视频目标跟踪是根据目标的表观特征信息和目标运动模型, 在视频中估计目标的位置。因此, 视频目标跟踪一般包含2个方面的内容:目标表观特征描述和目标跟踪算法。

视频中目标具有细节丰富的表观信息, 需要通过相应的目标表观特征描述方法将其中相对稳定的统计特性或某些不变特性提取出来, 以此对目标和背景进行区分。原始图像特征直接将目标区域的原始图像信息或经简单处理得到的底层图像特征作为对目标的描述。通常选取的特征有灰度、颜色及梯度等。该类特征提取简单快速, 但对目标特征的挖掘程度低, 适应力较差。直方图特征, 通过统计目标区域内某种特征在每个像素位置上出现的频次, 并进行归一化, 构成该目标区域对应特征的概率密度函数。直方图有效描述了特征的统计特性, 对于非刚体形变具有较好的鲁棒性, 但对于光照变化和背景杂波有一定欠缺。稀疏表示理论, 通过超完备字典将目标映射为稀疏向量, 作为表观描述特征, 计算量小, 但有一定的随机性, 不能保证最优。

为了估计目标的位置和范围, 需要选择合适的跟踪算法对目标进行跟踪。

3. 该系统集成的目标跟踪算法如下

LCT: Chao Ma, Xiaokang Yang, Chongyang Zhang, Ming-Hsuan Yang. "Long-term Correlation Tracking." CVPR (2015).

代码网址：https://github.com/chaoma99/lct-tracker

项目主页：https://sites.google.com/site/chaoma99/cvpr15_tracking

4. 测试的跟踪数据为OTB50

http://cvlab.hanyang.ac.kr/tracker_benchmark/datasets.html

5. 系统原型如下-主界面

5.1 主界面

5.2 读入视频

5.3 视频第一帧框选目标-矩形框

5.4 点击开始跟踪按钮，进行跟踪

5.5 点击抓图按钮，可以抓取跟踪过程中的某一帧。

5.6 点击录像开始和结束，可以录制跟踪过程的视频。

5.7 采集本地摄像头实时跟踪。

6. 结论

目标跟踪的算法往往在指定的跟踪数据集合上的性能能够取得不错的性能，但是遇到复杂的背景，光照变化以及严重遮挡的情形下性能就下降许多。所以要结合工程应用的具体背景来选择和优化合适的算法，直接拿来用一般是不行的，如图人脸识别一样。