运动目标跟踪中kalman滤波器的使用

转自：https://www.cnblogs.com/jcchen1987/p/4280628.html

目标跟踪的kalman滤波器介绍 

---

　　Kalman滤波器是通过前一状态预测当前状态，并使用当前观测状态进行校正，从而保证输出状态平稳变化，可有效抵抗观测误差。因此在运动目标跟踪中也被广泛使用。在视频处理的运动目标跟踪里，每个目标的状态可表示为(x,y,w,h)，x和y表示目标位置，w和h表示目标宽高。一般地认为目标的宽高是不变的，而其运动速度是匀速，那么目标的状态向量就应该扩展为(x,y,w,h,dx,dy)，其中dx和dy是目标当前时刻的速度。通过kalman滤波器来估计每个时刻目标状态的大致过程为：

　　对视频进行运动目标检测，通过简单匹配方法来给出目标的第一个和第二个状态，从第三个状态开始，就先使用kalman滤波器预测出当前状态，再用当前帧图像的检测结果作为观测值输入给kalman滤波器，得到的校正结果就被认为是目标在当前帧的真实状态。

 

有何问题？

---

 　　上面是大部分的做法，包括opencv都是如此实现的。但是，上面所述的使用方法也存在一定的问题。通常的监控场景都存在景深，一般而言，相机俯角不会太大（通常小于30度），那么在视频中同一个人在近处会比远处大很多，同样的其速度也会大很多（这里也假设目标真实世界中是匀速运动）。比如近端1个像素代表5mm，那么在远端则可能代表10mm，那人的大小和速度在近端都要大1倍。这样表现出来的现象就是对从近向远运动的目标，其输出的大小比实际大小大，位置会稍微超前；反之，从远向近运动的目标的输出状态大小则比实际大小小，位置会滞后。

 

如何解决？

---

 　　通常见过一种做法，是把目标状态向量扩展为(x,y,w,h,dx,dy,ax,ay,dw,dh)，其中ax,ay表示目标加速度，dw,dh表示目标大小的变化速度，相当于假定了目标在视频中是匀变速运动，且其宽高也在匀速变化。但是实际测试来看，该做法效果一般，并不能有效解决上述问题，目前原因不是很明确，估计是由于成像景深并不能满足上面的假设（即目标匀变速运动，宽高匀速变化这一假设）。

　　另一种有效的方法是把图像中的目标状态转换到真实状态，即是从图像坐标系映射到世界坐标系。在视频中目标任意一个确定状态(x,y,w,h)都可以唯一对应到真实世界中的(x1,y1,w1,h1)，那么在真实世界中，目标通常是满足宽高不变，匀速运动的假设条件的，那么就可以使用kalman滤波器，最终只要将结构反映射回图像坐标系即可。　　

　　当然，需要做这样的映射，就必须要确定相机的架设参数，包括高度，俯角和焦距。架设固定后，高度可直接给出，焦距和俯角可以在此基础上通过视频标定计算出。另外一种情况是双目/多目成像，有2个或多个相机同时成像就可以直接实现目标在坐标系的转换，这一点是当时在几篇论文上看到的，实际没这么做过。

　　对于上面的视频标定，有时候可能显得过于麻烦，且计算也没那么方便，这时我们可以退一步来考虑，基于前面的假设，可以确定只要目标在同一种度量下，目标的大小和速度也会保持不变，那就可以简单点把图像中的目标都映射到图像同一位置后再进行kalman滤波，做法和映射到世界坐标系一样，但是该方法的标定就更为简单了，只要分别标出一个近景远景框即可，完全不需要理会相机架设参数。

　　当时的实验结果来看，采用近景远景框标定，只要标定准确，上述做法能完全解决直接在图像中使用kalman滤波的问题。