云从科技资深算法研究员详解跨境追踪（ReID）技术实现及应用场景

跨镜追踪（Person Re-Identification，简称 ReID）技术是当前计算机视觉研究的热门方向，主要解决跨摄像头跨场景下行人的识别与检索。

跨镜追踪（ReID）技术能够根据行人的穿着、体态、发型等信息认知行人，与人脸识别技术结合能够适用于更多新的应用场景，提供更加丰富的服务，将人工智能的认知水平提高到一个新的阶段。

最近云从科技在 ReID 技术上取得突破，同时在 Market-1501，DukeMTMC-reID，CUHK03 三个数据集刷新了世界记录，其中最高在 Market-1501上的首位命中率（Rank-1 Accuracy）达到96.6%。本课程邀请到该成果的论文作者袁余锋慷慨分享技术实现细节及研究心得。

报名地址：https://edu.csdn.net/huiyiCourse/detail/788

本场 Chat 主要分享云从科技跨镜追踪技术（ReID）的设计思路与实现细节，以及该技术在各种场景下的应用前景。学完后您将了解：

1. 知道 ReID 的常用数据与评价指标；
2. 入门 ReID 常用的算法实现方案；
3. 了解云从科技 ReID 技术方案(MGN)的实现细节；
4. 开拓深度学习中网络结构。

---

作者简介：袁余峰，云从科技资深算法研究员，2012年浙江大学硕士毕业，专注于计算机视觉的前沿算法研究及应用落地，由其领导的技术团队最近在 Reid 研究课题上取得重大突破，刷新了三个数据集的世界纪录。

作者 | 袁余锋 编辑 | 明 明

导读

跨镜追踪（Person Re-Identification，简称 ReID）技术是现在计算机视觉研究的热门方向，主要解决跨摄像头跨场景下行人的识别与检索。该技术能够根据行人的穿着、体态、发型等信息认知行人，与人脸识别结合能够适用于更多新的应用场景，将人工智能的认知水平提高到一个新阶段。

本期大本营公开课，我们邀请到了云从科技资深算法研究员袁余锋，袁老师将通过以下四个方面等四个方面来讲解本次的课题：

1. ReID 的定义及技术难点；
2. 常用数据集与评价指标简介；
3. 多粒度网络（MGN）的结构设计与技术实现；
4. ReID 在行人跟踪中的应用分析与技术展望

以下是公开课文字版整理内容:

ReID 是行人智能认知的其中一个研究方向，行人智能认知是人脸识别之后比较重要的一个研究方向，特别是计算机视觉行业里面，首先简单介绍 ReID 里比较热门的几项内容：

1. 行人检测。任务是在给定图片中检测出行人位置的矩形框，这个跟之前的人脸检测、汽车检测比较类似，是较为基础的技术，也是很多行人技术的一个前置技术。

2. 行人分割以及背景替换。行人分割比行人检测更精准，预估每个行人在图片里的像素概率，把这个像素分割出来是人或是背景，这时用到很多 P 图的场景，比如背景替换。举一个例子，一些网红在做直播时，可以把直播的背景替换成外景，让体验得到提升。

3. 骨架关键点检测及姿态识别。一般识别出人体的几个关键点，比如头部、肩部、手掌、脚掌，用到行人姿态识别的任务中，这些技术可以应用在互动娱乐的场景中，类似于 Kinnect 人机互动方面，关键点检测技术是非常有价值的。

4. 行人跟踪“ MOT ”的技术。主要是研究人在单个摄像头里行进的轨迹，每个人后面拖了一根线，这根线表示这个人在摄像头里行进的轨迹，和 ReID 技术结合在一起可以形成跨镜头的细粒度的轨迹跟踪。

5. 动作识别。动作识别是基于视频的内容理解做的，技术更加复杂一点，但是它与人类的认知更加接近，应用场景会更多，这个技术目前并不成熟。动作识别可以有非常多的应用，比如闯红灯，还有公共场合突发事件的智能认知，像偷窃、聚众斗殴，摄像头识别出这样的行为之后可以采取智能措施，比如自动报警，这有非常大的社会价值。

6. 行人属性结构化。把行人的属性提炼出来，比如他衣服的颜色、裤子的类型、背包的颜色。

7. 跨境追踪及行人再识别 ReID 技术。

一、ReID 定义及技术难点

（一）ReID 定义

我们把 ReID 叫“跨镜追踪技术”，它是现在计算机视觉研究的热门方向，主要解决跨摄像头跨场景下行人的识别与检索。该技术可以作为人脸识别技术的重要补充，可以对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪，增强数据的时空连续性。

给大家举个例子，右图由四张图片构成，黄色这个人是之前新闻报道中的偷小孩事件的人，这个人会出现在多个摄像头里，现在警察刑侦时会人工去检索视频里这个人出现的视频段。这就是 ReID 可以应用的场景，ReID 技术可以根据行人的穿着、体貌，在各个摄像头中去检索，把这个人在各个不同摄像头出现的视频段关联起来，然后形成轨迹，这个轨迹对警察刑侦破案有一定帮助。这是一个应用场景。

（二）ReID 技术难点

右边是 ReID 的技术特点：首先，ReID 是属于行人识别，是继人脸识别后的一个重要研究方向。另外，研究的对象是人的整体特征，包括衣着、体形、发行、姿态等等。它的特点是跨摄像头，跟人脸识别做补充。

二、常用数据集与评价指标简介

很多人都说过深度学习其实也不难，为什么？只要有很多数据，基本深度学习的数据都能解决，这是一个类似于通用的解法。那我们就要反问，ReID 是一个深度认知问题，是不是用这种逻辑去解决就应该能够迎刃而解？准备了很多数据，ReID 是不是就可以解决？根据我个人的经验回答一下：“在 ReID 中，也行！但仅仅是理论上的，实际操作上非常不行！”

为什么？第一，ReID 有很多技术难点。比如 ReID 在实际应用场景下的数据非常复杂，会受到各种因素的影响，这些因素是客观存在的，ReID 必须要尝试去解决。

第一组图，无正脸照。最大的问题是这个人完全看不到正脸，特别是左图是个背面照，右图戴个帽子，没有正面照。

第二组图，姿态。绿色衣服男子，左边这张图在走路，右图在骑车，而且右图还戴了口罩。

第三组图，配饰。左图是正面照，但右图背面照出现了非常大的背包，左图只能看到两个肩带，根本不知道背包长什么样子，但右图的背包非常大，这张图片有很多背包的信息。

第四组图，遮挡。左图这个人打了遮阳伞，把肩部以上的地方全部挡住了，这是很大的问题。

图片上只列举了四种情况，还有更多情况，比如：

1. 相机拍摄角度差异大；
2. 监控图片模糊不清；
3. 室内室外环境变化；
4. 行人更换服装配饰，如之前穿了一件小外套，过一会儿把外套脱掉了；
5. 季节性穿衣风格，冬季、夏季穿衣风格差别非常大，但从行人认知来讲他很可能是同一个人；
6. 白天晚上的光线差异等。

从刚才列举的情况应该能够理解 ReID 的技术难点，要解决实际问题是非常复杂的。

ReID 常用的数据情况如何？右图列举了 ReID 学术界最常用的三个公开数据集：

第一列，Market1501。用得比较多，拍摄地点在清华大学，图片数量有 32000 张左右，行人数量是 1500 个，相当于每个人差不多有 20 张照片，它是用 6个摄像头拍的。

第二列，DukeMTMC-reID，拍摄地点是在 Duke 大学，有 36000 张照片，1800 个人