工作记录--在VecanLab的第477天

基于RNN的在线多目标跟踪《Online Multi-Target Tracking Using Recurrent Neural Networks》论文笔记

题目：Online Multi-Target Tracking Using Recurrent Neural Networks

来源：AAAI 2017

代码（Lua+Torch 7）：https://bitbucket.org/amilan/rnntracking

在VecanLab的第477天。本周主要读目标跟踪方面的论文，上周和王老师讨论之后放弃了《Fast Online Object Tracking and Segmentation: A Unifying Approach》，因为这篇的强项是单目标跟踪，而在一幅图片中红绿灯的数量可能是多个。当即查找用深度学习进行多目标跟踪的论文，找到了这篇Online Multi-Target Tracking Using Recurrent Neural Networks，这篇文章是2017AAAI的论文，也是多目标跟踪领域第一个用RNN实现的论文。花了接近一周时间去读，姑且粗浅地记下来自己的理解。

1. Introduction

这篇文章主要贡献：
1、受贝叶斯滤波启发，作者提出了一种统一的可实现多个目标跟踪的RNN网络结构，包括预测、数据关联、状态更新和目标初始化和终结。
2、作者进一步证明，结合数据关联的模型可以完全从数据中学习得到。
3、作者提出了一种从生成模型中创造随机数量的训练数据的方法。
4、大量优秀的结果证明了这种方法的潜力。

2. Background

1、Recurrent Neural Network
RNN的入门了解参考视频
https://www.bilibili.com/video/av45061105?from=search&seid=5593155856511320903
和写的很好的post http://colah.github.io/posts/2015-08-Understanding-LSTMs/

2、LSTM
仍然参考 http://colah.github.io/posts/2015-08-Understanding-LSTMs

3. Approach

1、 符号标记

由于博客上公式比较难打，这里手写的符号标注。
2、基于RNNs的多目标跟踪
两个方面
RNN：基于RNN的用于状态预测，状态更新和目标存在概率估计的模型
LSTM:基于LSTM的数据关联模型
四个步骤：
（1）预测(prediction):
根据上一帧的输入位置xt来估计下一帧的位置xt+1*
(2) 目标检测(detect)
使用DPM进行目标检测
(3)目标指认/关联(assignment)
根据测量结果和预测位置得到的距离矩阵C估计指认概率矩阵
(4)更新(update)
根据指认概率更新预测的目标位置，并判断目标的输入/输出
两个损失函数：
（1）状态预测和更新以及跟踪
作者使用


作为目标存在概率估计的损失函数，当目标存在概率低于0.6视为目标消失
（2）数据关联
为了衡量错误分类的成本，作者使用负对数似然损失函数

4. Summary

该论文首次使用了RNN网络进行多目标跟踪，同时为了数据关联，加入了具有长时记忆功能的LSTM网络帮助模型记住更多的东西。
一个流程：
输入当前帧的状态、网络隐藏状态，DPM目标检测结果即测量值和数据关联矩阵，经过RNN网络得到目标预测位置和目标存在可能性。
同时预测位置和测量位置生成距离矩阵C，距离矩阵经过LSTM网络生成指认概率估计，用于预测的目标位置和对应轨迹的数据关联。
根据生成的指认概率矩阵更新目标位置，并判断目标的启动/终止