论文笔记-Person Re-identification Past, Present and Future

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zdh2010xyz/article/details/53741682
2016_Person Re-identification Past, Present and Future
Liang Zheng, Yi Yang, and Alexander G. Hauptmann
这是一篇有关于Person re-ID 综述性文章。
转载请附原文地址:http://blog.csdn.net/zdh2010xyz/article/details/53741682
Abstract
re-ID变得越来越important。早期,主要是有关hand-crafted算法与小规模的evaluation的文章。近些年,large-scale datasets 与 deep learning系统兴起。文章将目前的re-ID问题分为两大类,image-based和video-based。在每一类的讨论中,都会回顾hand-crafted和deep learning system问题。同时,讨论了两个接近真实应用的new re-ID任务:end-to-end re-ID 与 fast re-ID in very large galleries。
文章贡献:1)介绍了person re-ID的历史,以及其与image classfication 和 instance retrievial的关系。2)详细分析了image-based 与 video-based re-ID任务中的hand-crafted systems与 large-scale methods。3)描绘了end-to-end re-ID与fast tetrieval in large galleries是未来的方向。4)最后简短的叙述了一些under-developed但又很important的问题。

1 Introduction
讲什么是re-ID。开头有关特洛伊战争,没看懂。。。反正就是re-ID很重要,有实践价值。
从技术上讲,实际视频监控系统的person re-ID系统可分为三个模块:person detection,person tracking,和 person retrieval。前两个任务是独立的计算机视觉任务,所以大家主要的工作还是最后一个模块。
论文安排:文章主要讨论的是re-ID的vision part。文章与以前的综述性文献不同的是,本文注重re-ID的subtask(现在available的以及未来可能的),而没有过分细讲techniques或者architectures。特别强调的是:deep learning methds、end-to-end re-ID 以及 large scale re-ID。1.2节介绍re-ID的历史。1.3节介绍re-ID与classification和retrieval的关系。第2、3章分别介绍image-based、video-based的相关文献,每一类都分为hand-crafted与deeply systems方法。第4章回顾了detection、tracking以及re-ID相关的技术,并指出未来研究重点。第5章介绍代表当前最好的retrieval models:large-scale re-ID,这也是未来研究的方向。第6章介绍了一些open issues。第7章结论。


至于与Classification和Retrieval的关系,person re-ID 结合了二者的优势。一方面,在训练阶段,可以从person space学习到区别能力强的ditance metrics或者feature embeddings。另一方面,在检索阶段,有效的indexing structures和hashing techniques将有助于large gallery中query的检索。

2 Image-based person re-ID
主要模型是使用单张图像作为query,模型可描述为closed-word model,G是gallery,包含N张图像,特征可描述为
这N张图像属于N个不同的identities。给定一个probe(query)q,其identity号可以通过过以下公式获得:

2.1 Hand-crafted Systems
从公式(1),可以看出一个re-ID 系统,包括两个组成部分,image decription与distance metrics。
(1)pedestrian description
使用最多的feature是color,texture features使用相对较少。一般使用的是weighted color histogram(WH)、maximally stable color regions(MSCR)和recurrent high-structured patches(RHSP)。WH 赋予对称轴附近像素更高的权重,对于每个part得到一个color histogram。MSCR主要处理stable color regions,提取特征包括color、area、centroid等。RHSP是纹理特征,recurrent texture patches。
近些年,hand-crafted features所注重的特征多多少少都是一样。Zhao et al. 提取10*10图像块的32-dim LAB color histogram和128-dim SIFT特征。同时,采用Adjacency constrained search技术,按水平划线分块对应匹配的方式,从gallery image中找到最合适的匹配块。这种方式也有很多人研究,代表性的有SCNCD、LOMO以及BoW等。
除了直接提取low-level color和texture features,还有一种选择:attribute-based features,可以看成是mid-level representations。可以确信,相对于low-level descriptors,采用attributes进行image translation具有更强的鲁棒性。已经有很多文献做了这方面的工作,结果表明效果优秀。
(2)Distacne Metric Learning
在hand-crafte re-ID systems中,一个良好的distance metric是至关重要的。原因:high-dimensional visual features typically do not capture the invariant factors under sample variances. 关于metric learning methods,已经有文章详细综述。文章将其分为 w.r.t supervised learning versus unsupervised learning与global learning versus local learning等。在person re-ID,主要是supervised global distance metric learning。
global metric learning,一般而言就是使属于同一类的vector距离尽量closer,不属于同一类的尽量further apart。最常采用的是马氏距离(Mahalanobis distance)。在person re-ID中,最出名的metric learning method 是KISSME(原理没弄懂,以后再补)。
在马氏距离的基础上,一大批metric learning method涌现。Weinberger提出large margin nearest neighbor Learning (LMNN) method、Davis提出information-theoretic metric learning (ITML)。最近,Hirzer提出relaxing the positivity constraint,具有更低的计算开销。Chen在马氏距离中,融合了bilinear similarity,使得cross-patch similarities can be modeled。等等。。。
除了learning distance metrics,也有人关注learning discriminative subspaces(不懂,待以后详述)。同时,也有人采用其他的学习工具,比如说SVM、Boosting。
2.2 Deeply-learned Systems
自从Krizhevsky赢得了ILSVRC 12比赛,CNN-based的深度学习模型得以流行。两类CNN模型广泛应用:1)classification model,用于image classification和object detection。2)siamese model,用于image pairs or triplets。在re-ID使用深度学习的瓶颈是lack of training data。由于大部分数据集为每个identity提供两张图像,所以目前CNN-based re-ID方法主要是采用siamese model。
siamese model的一个缺点是不能完全利用re-ID annotations。其实,siamese model仅仅使用了pairwise (or triplet) labels。另外一个与潜力的策略是采用classification/identification mode,这样可以充分利用re-ID labels。在大规模数据集,如PRW、MARS,classification model取得了在without careful training sample selection情况下的优秀性能。但为了模型收敛,应用identification loss需要更多的training instances per ID。

以上所提到的工作是以end-to-end的方式learn deep features。也可以采用 提取low-level features作为输入,比如SIFT、color histograms,整合进入Fish Vector。
2.3 Datasets and Evaluation
第一,数据集的规模在不断扩大。第二,bounding boxes开始采用pedestrian detectors获得,例如DPM、ACF等。第三,采用了更多的摄像头。
Evaluation Metrics,主要是cumulative matching characteristics (cmc) curve。但随着研究的输入,尤其是multiole ground truths的存在,也有人提出mean average precision (mAP)。
Re-ID Accuracy Over the Years,在不断提升。

3 Video-Based Person Re-ID
Vedio-based methods主要关注的multi-shot matching 方案和对temporal imformation的整合。
3.1 Hand-crafted Systems
主要是color-based descriptors。与image-based re-ID类似。主要的不同是距离计算上,这涉及到两个sets of bounding box features。称为“multi-shot”person re-ID。
这些方法主要是基于multiple shots,构建appearance models。现在一个新趋势是incorporate temporal cues in the model。Wang采用spatial-temporal descriptors来再识别行人。特征包括HOG3D,以及the gait energy image (GEI) 步态能量图像。Gao 利用周期性行人,将步态分为几个片段,进行识别。
3.2 Deeply-learned Systems
video-based 和image-based re-ID的明显区别是,with multiple images for each matching unit (video sequence), 在video pooling 后,要么采用multi-match strategy,要么采用a single-match strategy. 在以前的工作中,采用multi-match strategy,但计算量大。另一方面,pooling-based methods,将多个query的vector池化到一个global vector,扩展性好。由此,目前的video-based re-ID都会包含pooling step,可以是max/average pooling,或者从一个fully connected layer获得。
Another good practice:injecting temporal information in the final representation。
3.3 Datasets and Evaluation
multi-shot re-ID的数据集包括ETH、3DPES、PRID-2011、iLIDS-VID,和MARS。
4 Future:Detection,Tracking,and person Re-ID
4.1 Previous Works
尽管现在person re-ID是一个独立的研究任务,但文章认为未来会结合pedestrian detection 和tracking。特别的,文章认为end-to-end re-ID 系统(spotting a query person from raw videos),把raw videos作为输入,整合pedestrian detection 和tracking,再进行re-identification。
目前,大部分re-ID工作都是假定两点:1)给定行人边界匡的gallery。2)边界匡hand-drawn。这样会有很好的检测精度。但是在实际中,这两种假设是不成立的。一方面,gallery 大小会随着detector threshold而变化。低的阈值会产生更多的bounding boxing(更大的gallery,高的recall,但低的precision),反之亦然。re-ID检测的准确度将会由于不同的阈值,而不问题。另一方面,使用pedestrian detectors,bounding boxes中不可避免的会出现错误(misalignment, miss-detection, and false alarms),这将大大影响re-ID的检测准确性,这现在还很少有人考虑这个问题。
第二个问题,很多数据集,如CUHK03, Market-1501, and MARS,与实际场景很类似。在这些数据集中,采用检测器检测的bounding boxes与采用hand-drawn bounding boxes,前者所获得检测精度要比后者低。在MARS数据集中,虽然提出了tracking errors与detection error,但我们不知道tracknig errors是怎么影响re-ID accuracy的。这在end-to-end person re-ID 系统中,如何挑选detectors和tracker将是一个难题。 2016年,xiao和zheng差不多同时提出了基于large-scale dataset的end-to-end re-ID system。都是将raw video frame与query bounding box作为输入。如下图所示:
从图中可以看出,在给定同样re-ID feature的情况下,better better pedestrian detector会产生higher re-ID accuracy。从多篇论文中,可以得出结论,良好的pedestrian detection将有助于person re-ID。
但是,在这些所谓的end-to-end系统中,还没有人研究pedestrian tracking。这一工作被视为整合detection、tracking与retrieval为一个框架的终极目标。此项研究需要提供用于这三个任务的的bounding box annotations的大规模数据集支持。
4.2 Future Issues
1)System performance evaluation
一个适当的evaluation methodology对于end-to-end re-ID任务异常重要,end-to-end re-ID不同于常规的re-ID问题,它带有dynamic galeries。同时,现在还不知道如何evaluate detection/tracking 在person re-ID中的性能表现。下面从两个方面提出问题:
1。针对re-ID中pedestrian detection和tracking的evaluation metrics相当重要。evaluation protocol应该能够quantify and rank detector/tracker performance in a realistin,同时是unbiased manner and informative of re-ID accuracy。由于在person re-ID任务中,只是要找出这个person,并不太关心person检测的准确性。所以,文章认为可以采用miss rate与average precison作为person re-ID中pedestrian detection性能的评价。
另外一个就是AP/MR的计算,这个涉及IoU的值,试验结果表明,IoU阈值取0.7要比取0.5,检测精度更加稳定。文章的建议是larger IoU criteria能保证better localization results,但这个也得根据不同的情况而定。
虽然有了关于pedestrian detection的evaluation,但对于person re-ID中的tracking,现在还是largely unknown。在以前的multiple object tracking (MOT) benchmark,常用multiple object tracking precision (MOTP)、mostly track (MT) targets、the total number of false positives (FP)、the total number of ID switches (IDS)、the total number of times a trajectory is fragmented (Frag)、the number of frames processed per second (Hz)等,可能一些指标会受到处理速度的影响,因为person re-ID中的tracking任务是off-line step。For re-ID, we envision that tracking precision is critical as it is undesirable to have outlier images in the tracklets which
compromise the effectiveness of pooling. We also speculate that 80% might not be an optimal threshold for evaluating MT under re-ID. 在未来的数据集中,一旦考虑考虑re-id的tracking问题,首要任务就是设计出适当的metrics来评价不同的tracker。
2。w.r.t the evaluation procedure concerns the re-ID accuracy of the entire system.
这里涉及到detector的threshold问题,太strict,则gallery少,则目标可能包含不全;太loose,则gallery多,则可能会有更多的背景包含进去。这两种结果对re-ID结果都不好。暂时还没有有效的解决办法,但记住一点,这个gallery的大小是受detector threshold控制,在设计new evaluation metrics要考虑到这个问题。
另外一个点,就是如何从一段给定的视频中定位到query的identy出现的位置,这个任务要比detection/tracking+reidentification相对简单,不要求有那么高的检测精度,只要能定位就行。这个任务中,可以设定loose IoU,将更多的精力放到matching上,即从一大堆的bounding box或者spatial-temporal tube中找到特定的person。
2)The Influence of Detector/Tracker on Re-ID
对于end-to-end re-ID系统,研究detection/tracking methods/data对re-ID的贡献。
第一:pedestrian/tracking errors确实影响re-ID accuracy。但也有去研究表明,detection/tracking errors可以在更早的阶段避免。举个例子,Xiao所提出网络中,他在fast R-CNN sub-model网络中加入localization loss,这对re-ID system的有效定位很有帮助。未来的研究,可以关注person re-ID中detection/tracking quality的独立性。鉴于开发无错误的detector与 tracker是不现实的,文章建议在re-ID matching scores中整合detection confidence。举例:how to correct errors by effectively identifying outliers、how to train context models that do not rely solely on detected bounding boxes.
第二,需要更加关注detection和tracking,如果设计得当,将会大大促进re-ID。虽然我们暂时不能直接看出pedestrian detection/tracking对re-ID有帮助,但可以参考通用image classification and fine-grained classification,可以获取一些线索。如果能够更好的区分不同的identity,会对区分行人与背景有帮助,同样相反也是。
另外一个可以研究的点是unsupervised tracking data。在视频中进行行人跟踪是一件没有那么难得事,虽然不可避免的是会存在错误。但是,人脸识别、颜色、非背景信息都有利于提高tracking的准确性。在追踪的过程中,行人会有比较大的变化。运用这些序列图,即racking results,用来训练pedestrian verification/identification.以减轻对大规模supervised data的依赖。

5 Future:person re-ID in very large galeries
虽然数据库的规模一直在扩大,但很明显,还远未达到时用的地步。所以,person re-ID in very large galleries should be a critical direction in the future.

6 Other important yet Under-developed open issues
6.1 Battle Against Data Volumn
person re-ID中数据集的标注是一件非常难得事情,因为不仅要标注边界匡,还得标注出ID。最近两年,有一些大规模的数据集出现,如Market-1501、PRW、LSPS和MARS,首先得感谢这些数据集的制作者,但这些数据集也还是远未达到实用的地步。文章认为可以有两种替代策略来改善这一问题。
第一:在tracking和detection中使用annotation还有待深入探讨。第二:transfer learning。transfers a trained model from the source to the target domain。
6.2 Re-ranking Re-ID Results
re-identification可以看成是retrieval过程,则re-ranking对于提高检索的精度变得非常重要。
7 结论
展开阅读全文

没有更多推荐了,返回首页