双摄像头的实时视频拼接及目标跟踪（二）

视频拼接算法

本文为CSDN原创文章，转载请注明出处

视频拼接思想及总体框图

图像拼接是视频拼接的基础，是将多张图像生成一张全景图，衡量的指标主要在于全景图的质量，而对拼接速度的要求并不高。对于视频拼接而言，视频流的输入是源源不断的，需要将多个摄像头采集的图片进行拼接，每个摄像头的图像帧序列必须一一对应（时间一致性），即保证每次输入的对应的待拼接图片是在同一时刻进行采集的， 图片之间几乎不存在时间差，否则，当有运动物体在待拼接图像帧的重合区域时，将会导致许多误匹配，拼接图像将会产生严重的虚影和模糊现象，甚至无法匹配导致图像拼接失败。

在对应好相应图像拼接帧后，利用上一章介绍的图像拼接算法进行图像拼接，可以保证图像拼接的质量。但是在保证质量的同时，也要兼顾拼接速度。考虑到实用性，此图像拼接算法耗费的时间过多，根本无法用来做视频拼接，因此需要对算法进行优化，都思路进行拓展。
其中优化措施有以下几点：

1. 固定摄像头位置，保证相机参数不改变。
2. 打开摄像头，采集图像，为了消除摄像头刚开始采集图像时，摄像头之间存在一定的初始化时间差异这一现象，先等待摄像头稳定，再读取摄像头图像帧进行图像拼接，此拼接图像作为视频拼接的背景帧，选取的背景一定要是静态的。
3. 对后续帧序列，由于相机位置是固定的，可以不再进行特征点提取、匹配、筛选以及相机参数计算等步骤，即变换矩阵不再逐帧计算，而是利用背景帧的拼接参数做处理，只