Reinforced Temporal Attention and Split-Rate Transfer for Depth-Based Person Re-Identification 论文笔记

Reinforced Temporal Attention and Split-Rate Transfer for Depth-Based Person Re-Identification 论文笔记

一、提出问题

• 利用深度学习方法进行行人重识别时的数据稀缺问题
• 基于视频的行人重识别
• 同一行人穿着不同的衣服时识别精度低

二、论文贡献

• 为了解决数据稀缺问题，本文提出分流率RGB深度传输，以有效地利用来自大型RGB数据的预训练模型，并学习强大的帧级特征 ；
• 为了增强视频序列的重新识别，本文提出了增强时间注意单元，它位于帧级功能之上，不依赖于网络架构。 大量实验表明，本文的方法在基于深度学习的行人重识别方面优于现有技术；
• 在行人更换衣服的情况下，本文的方法比基于RGB对应的方法更有效。

三、模型结构

2.1 输入表示

整个系统的输入为Kinect V2获取的深度图像，图像中的每一个像素，该图像包含从图像平面到特定坐标（i，j）处的最近对象的笛卡尔距离（以毫米为单位）。在“默认范围”设置中，间隔为[0,0.4m）和（8.0m，∞）被认为是未知测量，[0.4,0.8] [m]被视为“太近”，（4.0,8.0）[m]视为“太远”，[0.8,4.0] [m]作为“正常”值。当骨架跟踪有效时，身体指数由Kinect SDK提供，其中0对应于背景，正整数i对于属于行人i的每个像素。

在提取人物区域之后，“正常”区域内的测量值在[1,256]范围内被归一化，而“太远”和“未知”范围内的值被设置为256，并且“太近”范围内的设置为1。实际上，为了避免将值集中在256附近，所以需要引入偏移并归一化。“灰度”人物表示为，当身体指数可用时，在深度区域Dp上部署Bp⊂B作为掩模，以便在应用范围归一化之前实现背景减法（参见图3-1）。

图3-1 灰度图表示

3.2 模型结构

本文将行人重识别问题阐述为agent的顺序决策过程，该agent通过视频序列从部分可观察的环境执行