三维视觉：视觉跟踪

【本学期选修国科大计算机视觉课程，本人方向也是cv，因此想通过博客方式记录课程中比较重要的点，巩固并且进行一些扩展学习】

【从本章节开始由董秋雷老师为我们讲述相关知识】

【本章节内容针对视觉跟踪进行讲解】
接下来我们将主要针对以下内容进行介绍：

目标跟踪

  模板匹配法

  基于Kalman滤波器的跟踪方法

 基于相关滤波的跟踪方法

 基于CNN的跟踪方法

视觉定位

 基于Kalman滤波器的定位方法

 基于关键帧的定位方法

运动分析的一般流程

Tracking

   目标跟踪：在图像序列中持续地估计出感兴趣的运动目标所在区域（位置），形成运动目标的运动轨迹；有时还需要估计出运动目标的某些运动参数 （比如速度、加速度等）。

 

  相机跟踪（摄像机定位）：通过图像序列，持续地 计算出相机的位置、姿态，如SLAM（Simultaneous Localization And Mapping，同步定位与地图创建）

目标跟踪问题分类

场景中运动目标的数目： 单运动目标 vs. 多运动目标

  在多目标跟踪过程中，必须考虑到多个目标在场景中会互相遮挡(Occlusion)，合并(Merge)，分离

(Split)等情况。

  多目标跟踪中的数据关联问题(Data Association)。

摄像机的数目： 单摄像机 vs. 多摄像机

  多摄像机有望解决因相互遮挡导致的运动目标丢失问题，但多摄像机的信息融合是一个关键性问题。

摄像机是否运动： 摄像机静止 vs. 摄像机运动

  摄像机的运动形式，一种是摄像机支架固定，摄像机可以偏转(Pan)，俯仰(Tilt)以及缩放(Zoom)；另一种是摄像机装在移动载体上，如车辆、飞机。

  摄像机的运动增加了运动目标检测的难度。

场景中运动目标的类型： 刚体 vs. 非刚体

  交通车辆－刚体； 人－非刚体。

  传感器的种类： 可见光图像 vs. 红外图像

  白天使用可见光图像；晚上使用红外图像。

目标跟踪

运动目标的表示方法

基于点的跟踪

基于区域的跟踪

基于轮廓的跟踪

基于模型的跟踪

目标跟踪的两种处理思路

 自底向上(Bottom-up)的处理方法

      数据驱动(Date-driven)的方法，不依赖于先验知识

         模板匹配 (Template Match)

         均值漂移 (Mean Shift)

 自顶向下(Top-down)的处理方法

      模型驱动(Model-driven)的方法，依赖于所构建的模 型或先验知识

        卡尔曼滤波器 (Kalman Filter)

        粒子滤波器 (Particle Filter)

模板匹配法

基于卡尔曼滤波器的跟踪方法

Kalman filter：旨在利用线性系统状态方程，基于观测数据对系统状态进行最优估计。

基于卡尔曼滤波器的跟踪：通过建立状态空间模型，把跟踪问题表示为动态系统的状态估计问题。

动态系统

   

卡尔曼滤波器(Kalman Filter) 

 

 

 

 

 卡尔曼滤波器—时间更新和状态更新

 

 相关滤波与跟踪（MOSSE）

 

基于DNN的跟踪方法

  策略1：DNN特征 + 相关滤波

 策略2：直接使用DNN进行目标跟踪

VGG框架 

底层用于关注目标

高层用于运动目标项

 视觉定位

适用于室内、外定位；

  基于图像的定位可以集成到手机等移动终端，方便廉价；

  基于位置的服务几乎无处不在，如智能机器人、虚拟现实、增强现实等等；

离线的视觉定位

在线的视觉定位 

 已知环境下的视觉定位

文献中方法：

  基于 图像检索 的定位方法

定位技术速度快、定位精度相对较低  

  基于 2D-3D匹配点 的定位方法

 定位精度相对较高、但依赖于2D-3D匹配精度影响

  基于 学习（神经网络） 的定位方法

 计算稳定性相对较好、定位精度相对较低、泛化能力相对较差

在线视觉定位分类

 基于滤波器的实时定位方法

核心思想 ：将相机位置、姿态和地图特征等未知信息作为滤波器的状态量，利用相机的观测特征不断地估计相机相机位置、姿态和地图特征。

常用滤波器：卡尔曼滤波器、粒子滤波器等。

 

基于几何的实时定位方法

 其中为双线程，关键帧用来更新地图，其余用来定位

 

 小节

  视觉跟踪所面临的主要难点：鲁棒性、准确性、快速性。

  鲁棒性：跟踪算法能够在各种环境条件下实现对运动目标（摄像机）持续稳定的跟踪。

  准确性

  快速性：在保证所要求的跟踪精度的前提下，实现实时地跟踪