最近,在网上搜索关于“行人重识别”及“行人再识别”等关键词,发现几乎都是关于行人检测的内容。对于“行人重(再)识别”技术能找到的资料很少,这可能是因为“行人重(再)识别”技术最近才刚刚兴起吧。总之,除了能在谷歌学术中搜到一些Person re-identification的学术论文外,其他的资料明显没有行人检测的多。由于本人主要是学习“行人重(再)识别”技术的,每次和别人提起自己的研究方向时都要费力的解释一番,因此,本人打算在这里对“行人重(再)识别”进行阐述,同时,也为以后读者阅读相关的技术文献提供一个参考。
一、 概念解释
“行人重(再)识别”:首先从字面上将就是对“行人”进行“识别”。其中的“重(再)”则是指“重新”、“再一次”的意思。“行人重(再)识别”技术主要是应用在视频监控方面。在刑侦工作中,刑侦人员经常要浏览多个摄像头中的视频,查找某个特定的行人在哪些摄像头曾经出现过。计算机视觉领域的学者们形象地将针对特定行人的监控视频检索问题称为行人重识别(Personre-identification)
图1 行人重识别过程的实际应用场景可以想象成上图的样子:一个行人沿着图中红色的轨迹从左到右先后经过了拐角处的两个摄像头。注意:这两个摄像头拍摄的范围没有交叉的部分,即经过一个摄像头后,中间有一段时间没有被任何摄像头拍摄到,然后再经过第二个摄像头。
二、“行人重(再)识别”与“行人检测”的区别
(1) 主要应用领域的区别:
“行人重(再)识别”主要应用于刑侦工作、图像检索等方面。
“行人检测”主要用于智能驾驶、辅助驾驶和智能监控等相关领域。
(2) 主要目的区别:
“行人重(再)识别”主要目的是:判断某个摄像头中的某个行人是否曾经出现在其他的摄像头中,即需要将某个行人特征与其他行人特征进行对比,判断是否属于同一个行人。
“行人检测”主要的目的是:检测图像或视频中是否存在行人,而不需要判断该行人特征与其他行人特征是否属于同一个行人。
三、小结
其实,本人一直认为 “行人重(再)识别”与“行人检测”本身就有许多的关联之处:本人在平时学习“行人重识别”过程中,使用的数据库都是从视频中剪切好的行人图片,如图2
图2 上面一行的图片由A摄像头拍摄得到,下面一行的图片由B摄像头拍摄得到。并且,上下对应的两张图片都属于同一个人的图片,只是由于光照、拍摄角度等因素,导致同一个人的两张图片有所不同。
即数据库中的图片里一定含有行人。“行人重识别”所要做的就是先对图像进行特征提取,然后接下来做的是判断某个测试图片的特征与训练集中的哪个图片最接近。“行人检测”一般是在一张图片或一段视频中判断是否存在行人,如图3。从图2和图3中可以看出“行人重识别”和“行人检测”两种技术的区别和联系。因此,在实际的监控视频应用中,应该是先进行行人检测,把视频或图片中的行人筛选出来,输出类似图2中的结果,然后,再使用行人重识别技术识别行人。(个人观点)(注意:我们现在的行人重识别研究主要是在图片库中进行的,这些图片也都是从监控视频中剪切得到的。)
图3 行人检测示意图
四、 国内外研究现状(行人重识别领域)
行人重识别问题中的图片来源于不同的摄像头,然而,由于不同摄像头所处的角度、光照等环境的影响,行人重识别问题具有以下几个特点:
1. 由于实际监控环境中,无法使用脸部的有效信息,所以,只能利用行人的外貌特征来进行识别。
2. 在不同摄像头中,由于尺度、光照和角度的变化,同一个行人的不同图片中,外貌特征会有一定程度的变化。
3. 由于行人姿势及摄像头角度的变化,在不同摄像头中,不同行人的外貌特征可能比同一个人的外貌特征更相似。
针对以上几个特点,计算机视觉领域的研究人员在最近几年里进行了大量的研究工作。
目前,行人重识别领域的研究工作主要分为大致两类:
1.研究行人对象的特征表示方法,提取更具有鲁棒性的鉴别特征对行人进行表示。
2.使用距离度量学习方法,通过学习一个有判别力的距离度量函数,使得同一个人的图像间距离小于不同行人图像间的距离。
下面分别从上述两个方面来介绍国内外研究现状:
(1) 基于特征表示的方法
在视频监控环境中,行人的外貌特征比较容易提取和表示。因此,同一行人的不同外貌特征具有一定的鲁棒性。
最近几年的一些论文:
1) “Person re-identification by symmetry-drivenaccumulation of local features”, CVPR, 2010. 为了减少视角变化导致的外貌变化,本文提出通过基于人身体对称性的特征提取方法。首先通过一个预处理过程在人身体上划分头、躯干、腿部和左右对称中轴,然后提取除了头部以外的各区域的多种特征,包括累积颜色特征和纹理特征。并基于对称中轴对特征进行加权,越靠近中轴权值越高。下面是论文示例图。
2) “Custom pictorial structures for re-identification”, BMVC,2011.本文提出类似的方法,将绘画结构应用于行人重识别。用一个自适应的身体外形结构来表示行人像,包括头、胸、大腿和小腿,然后提取每个部分的颜色特征进行精确匹配。
3)“Multiple-shot person re-identification by chromatic andepitomic analyses”, Pattern Recognition Letters, Vol.33, PP. 898–903, 2012. 本文结合行人的全局和局部外貌特征进行重识别,首先根据行人在单摄像头下的连续运动提取多个关键帧图像,并用多帧图像的累积 HSV 颜色直方图表示全局特征;其次,在把人身体分割成上、下半身并去除头部区域后,提取各上、下半身多帧图像中频繁出现的块信息表示局部特征;最后加权融合全局和局部特征进行行人重识别。
(2) 基于距离度量学习的方法
上述基于特征的方法都是使用标准距离(如曼哈顿距离、欧氏距离和巴氏距离等)进行相似性度量。然而同一身份行人在跨越多个无重叠区摄像头时,不同外貌特征受视角、光照等因素的影响不同。标准的距离度量方法平等的对待每一种特征,而不会摒弃那些独立使用时效果很差的特征。因此,研究者尝试通过距离学习的方法,获得一个新的距离度量空间,使得同一行人不同图像的距离小于不同人间的距离。距离学习方法一般在 Mahalanobis 距离的基础上进行,通过学习一个投影矩阵,使得在投影空间中同类样本之间的距离较小,而不同类样本之间的距离较大。
1)“Distance metric learning with application to clustering withside-information”, NIPS, 2003.本文首次提出距离测度学习的问题,他在 Mahalanobis 距离的基础上,根据样本的类别,将具有相同类别标签的样本组成正样本对,不同类别标签的样本构成负样本对,然后利用这些样本对作为约束条件来训练得到一个 Mahalanobis 矩阵,从而使得最终的距离度量函数能够尽可能地满足所给定的约束条件。
2)“Distance metric learning for large margin nearest neighborclassification”, Journal of Machine LearningResearch, vol. 10, pp. 207–244, 2009. 本文提出最大近邻分类间隔(large marginnearest neighbor classification, LMNN)的算法,其思想类似于支持向量机,即希望寻求一个分类超平面,使得该超平面与最靠近点的距离尽可能大。同样,LMNN 希望通过投影后,数据的邻域内的同类点向内部紧缩,不同类点向外扩张,并且之间的间隔尽可能大。
3)“Pedestrianrecognition with a learned metric”, ACCV, 2011. 本文对 LMNN进行改进提出 LMNN-R方法,其用所有样本点的平均近邻边界来代替 LMNN 中不同样本点所采用的各自近邻边界,取得了比 LMNN 方法更强的约束效果。
4)“PersonRe-identification by Probabilistic Relative Distance Comparison”, CVPR, 2011. 本文提出概率相对距离比较(probabilisticrelative distance comparison PRDC)的方法,在学习距离度量函数时考虑相对约束,与之前的同类距离尽可能小,不同类距离尽可能大的要求不同,其要求同类的距离小于不同类之间的距离。对每一个样本,选择一个同类样本和不同类样本形成 3 元组,在训练过程通过最小化不同类样本距离减去同类样本距离的和,得到满足约束的距离度量矩阵。
五、总结
第四节中介绍的两类方法各有利弊,根据本文近一年来的学习经验,基于特征表示的方法虽然运算复杂度相对度量学习方法简单,没有复杂的学习过程,但是,效果可能并不理想。基于距离度量学习方法需要一个复杂的学习过程,但是,效果比前者要好。另外,有个特例,Large Scale Metric Learning from Equivalence Constraints中将样本之间的差向量看做是高斯分布中的一个点,同类样本的差向量分布在同一个高斯分布中,而不同样本之间的差向量分布在另一个高斯分布中,然后用概率的比值来度量样本之间的距离。作者通过转换最终将高斯分布的比值转换成马氏距离的形式,马氏距离矩阵为同类样本差向量协方差的逆减去不同类样本差向量协方差的逆。该方法由于没有使用到迭代优化的算法,算法速度快,但是该方法也属于距离度量学习方法。
对于行人重识别感兴趣的读者可以关注一下相关的研究人员的个人主页,比如:郑伟诗(中山大学)、龚少刚、赵瑞、陶大成、Hirzer等,一般主页上会提供论文和代码。
MathJax.Hub.Config({
"HTML-CSS": {
linebreaks: { automatic: true, width: "94%container" },
imageFont: null
},
tex2jax: {
preview: "none"
},
mml2jax: {
preview: 'none'
}
});
(function(){
var btnReadmore = (".MathJax").remove(); MathJax.Hub.Config({ "HTML-CSS": { linebreaks: { automatic: true, width: "94%container" }, imageFont: null }, tex2jax: { preview: "none" }, mml2jax: { preview: 'none' } }); (function(){ var btnReadmore = ("#btn-readmore"); if(btnReadmore.length>0){ var winH = (window).height();vararticleBox= ( w i n d o w ) . h e i g h t ( ) ; v a r a r t i c l e B o x = ("div.article_content"); var artH = articleBox.height(); if(artH > winH*2){ articleBox.css({ 'height':winH*2+'px', 'overflow':'hidden' }) btnReadmore.click(function(){ articleBox.removeAttr("style"); $(this).parent().remove(); }) }else{ btnReadmore.parent().remove(); } } })()
- qq_18219905 2017-11-05 18:09:20 #16楼深度学习的代码和数据集汇总:https://www.zhihu.com/question/46943328/answer/139931140 这个帖子不错。举报 回复
- dashan8608 2017-10-17 16:50:31 #15楼分享的链接已经过期了 能不能再发一下举报 回复 查看回复(2)
-
- liuqinglong110回复 dashan8608 2017-10-17 18:53:53【开源代码合集】行人重识别: http://blog.csdn.net/layumi1993/article/details/55798568 这个是其他人的博客。可以参考一下。举报 回复
- liuqinglong110回复 dashan8608 2017-10-17 18:51:05链接:http://pan.baidu.com/s/1hsksWWc 密码:brnc 链接:http://pan.baidu.com/s/1kVP4zER 密码:xrne 链接:http://pan.baidu.com/s/1qXKuq3E 密码:6mx2举报 回复
-
- chenxiaocui195 2017-10-10 08:52:14 #14楼博主,你好,我是一个在读研二学生,现在才开始了解行人再识别。不知如何下手,是先学习传统方法还是深度学习方法呢?望博主指点,能分享一些资料给我吗?非常感谢。。。举报 回复 查看回复(6)
-
- 4359大大哥回复 chenxiaocui195 2017-12-12 08:55:02同学 你好 我也是研二的学生 也才开始了解行人再识别 可否给个联系方式一起交流 我的QQ是435981572~举报 回复
- GenuierChan回复 chenxiaocui195 2017-11-21 16:32:28我也是研二在读,你在哪个学校呢?举报 回复
- JW_999回复 chenxiaocui195 2017-11-14 10:33:54你好,链接失效了,可不可以再发一遍,谢谢举报 回复
- chenxiaocui195回复 2017-10-27 20:47:20[reply]yuti7393[/reply谢谢博主的建议。才看到您的回复。举报 回复
- dashan8608回复 chenxiaocui195 2017-10-17 16:51:22链接已过期 能不能重新发一下举报 回复
- liuqinglong110回复 chenxiaocui195 2017-10-10 10:06:18不好意思,我也是初学者,谈不上指点。一起学习吧。我最近没有关注行人再识别方面的论文,现在深度学习太火了,估计除了以前的传统方法之外,又有了一大批深度学习方面的论文。如果是为了发论文的话,多看看深度学习应该是比较好的选择,当然,传统方法也要兼顾一下,毕竟,深度学习方法有时候感觉像个黑盒。我在大概三年前学习行人再识别时还是传统方法占主流位置。我个人建议,你先读一读传统方法的行人再识别论文,这类方法论文资料也比较多。而且,推到过程也很详细,应该有助于你更深入的理解算法过程,仔细研究几篇即可。我这里有本书,是前几年的行人再识别方面的综述。基本上都是传统方法,你可以看看。当然,深度学习也不能丢下,你还是要时刻跟踪最新的深度学习论文。这个就看看你自己的学习方法了。这是个人建议啊。我分享的一些资料:链接:http://pan.baidu.com/s/1jH6YRJ4 密码:bxu4 链接:http://pan.baidu.com/s/1jIFwECu 密码:ailu 还有郑伟诗的主页(RDC算法)可以搜集一些。我觉得不要花太长时间在传统学习上,你能理解一些经典算法就可以了,然后就可以跟踪深度学习方法。举报 回复
-
- linolzhang 2017-09-14 09:44:07 #13楼开通了知乎专栏,以文会友,欢迎大家投稿!https://zhuanlan.zhihu.com/re-id举报 回复 查看回复(2)
-
- dashan8608回复 linolzhang 2017-10-17 16:47:49已关注举报 回复
- liuqinglong110回复 linolzhang 2017-09-14 16:32:33嗯嗯,已经关注过了。幸会。举报 回复
-
- 奥特曼超人Dujinyang 2017-03-27 17:28:29 #12楼感谢分享,文章已被推荐收录举报 回复
- 上一页
- 1
- 2
- 3
- 4
- 下一页
行人重识别RE-ID 琐碎知识点总结
1. single shot 和muti shot 前者是指gallery中每个人的图像为一张(N=1),而后者是指gallery中每个人的图像为N>1张图像,同样的Rank-1下,一般N越大,得到…
行人检测资源(下)-源码、数据集 - CSDN博客
2018-6-16
行人检测OpenCV+ICF - CSDN博客
最近项目中需要用到行人检测,对比了几种常用的算法后,果断选择出自大神Piotr Dollar的ICF(Integral Channel Features)。 下面开始了苦逼之旅。。。 由于从网上…
2018-6-16
行人检测(opencv) - CSDN博客
2018-5-23
行人检测 - CSDN博客
如果转载了本文,也请注明转载出 行人检测具有极其广泛的应用:智能辅助驾驶,智能监控,行人分析以及智能机器人等领域。从2005年以来行人检测进入了一个快速的发展阶段…
2018-4-28
ICCV2017 论文解读:基于图像检索的行人重识别 | PaperDaily #13
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。 …
行人重识别的简单理解
对于行人重识别而言,可以设计的任务是: Multi-task learning 1.Identification + Verification Loss Verification Loss :A…
OpenCV行人检测 - CSDN博客
2018-6-28
行人检测资源汇总 - CSDN博客
行人检测具有极其广泛的应用:智能辅助驾驶,智能监控,行人分析以及智能机器人等领域。从2005年以来行人检测进入了一个快速的发展阶段,但是也存在很多问题还有待解决,…
2018-6-27
行人检测资源汇总 - CSDN博客
一、论文 CVPR2013年行人检测相关的文章 [1] Robust Multi-Resolution Pedestrian Detection in Traffic Scenes Junjie…
2018-6-3
行人检测 特征 典型方法 - pl_Dong的博客 - 博客频道 - CSDN.NET
这种特征能从大量的样本中学习出判断能力较强的特征,在行人检测中表现很出色,但是它的计算依赖高性能的硬件,也和训练样本密切相关,若样本不具有代表性,很难学习到…
2016-12-24
郑哲东 Deep-ReID:行人重识别的深度学习方法
2018年04月11日 48.34MB 下载
行人重识别(行人再识别)数据集 DukeMTMC-reID
DukeMTMC-reID 下载地址:https://github.com/layumi/DukeMTMC-reID_evaluation DukeMTMC-reID 为 DukeMTMC数据集的行…
行人检测 - CSDN博客
2018-1-31
行人检测资源 - CSDN博客
行人检测资源(上)综述文献 2015年10月26日 行人检测具有极其广泛的应用:智能辅助驾驶,智能监控,行人分析以及智能机器人等领域。从2005年…
2017-12-14
一张图看caffe目录结构
Caffe是用C++编写的深度学习框架,大量使用类的封装,继承,多态 Caffe根目录下执行tree命令查看caffe目录结构 $ cd /home/name/Documents/caffe-m…
2018 CVPR-Person Transfer GAN to Bridge Domain Gap for Person Re-Identification
论文地址 代码地址:tensorflow Motivation 已有很多算法在现有的Re-ID数据集取得了较高的精度,但是相对于实际应用场景差距较大(人与摄像头数量、各种变化) 不同数据集…
Face++ 论文解读:一种新的行人重识别度量学习方法 | PaperDaily #20
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。 …
行人重识别顶级会议论文汇总
近五年ICCV、CVPR、ECCV等顶级国际会议关于行人重识别(person re-identification)论文汇总,不定期更新。 如有疏漏或不足之处,欢迎指正。 ICCV I…
svd行人重识别简单测试
2014年08月12日 540KB 下载
行人重识别 CUHK03数据集描述
简要描述:MATLAB数据文件格式,1467个行人,收集自The Chinese University of Hong Kong校园内的10个(5对)不同的摄像头。数据集结构:由三部分组成:— …
行人重识别之重排序(re-ranking)
行人重识别简称Re-identification,目前研究这个方向的大神主要有,UTS的郑良,郑哲东,CUHK的xiaotong等。 这里想分析下,2017年的cvpr, Re-ranking Pe…
行人重识别必读论文
2014年07月31日 40.22MB 下载
![](https://i-blog.csdnimg.cn/blog_migrate/8d9efd81b3899310987010b538b2b3de.gif)
没有更多推荐了,返回首页
热门文章
-
行人再识别(行人重识别)【包含与行人检测的对比】
阅读量:18201
-
【亲测】64位win8.1系统+VS2010+OpenCV2.4.8
阅读量:1651
-
目标检测之训练opencv自带的分类器
阅读量:1630
-
本人常用资源整理(ing…)
阅读量:1345
-
VS2010 / MFC + OpenCV 2.4.1打开图片
阅读量:1317
最新评论
-
行人再识别(行人重识别)【包含与行…
qq_36644644:[reply]yuti7393[/reply]
同学 你好 我也是研二的学生 也才开始了解行人再识…
-
行人再识别(行人重识别)【包含与行…
GenuierChen:[reply]yuti7393[/reply]
我也是研二在读,你在哪个学校呢?
-
行人再识别(行人重识别)【包含与行…
JW_999:[reply]yuti7393[/reply]
你好,链接失效了,可不可以再发一遍,谢谢
-
行人再识别(行人重识别)【包含与行…
qq_18219905:深度学习的代码和数据集汇总:https://www.zhihu.com/question/4694…
-
行人再识别(行人重识别)【包含与行…
yuti7393:[reply]yuti7393[/reply谢谢博主的建议。才看到您的回复。