2006-Person Reidentification Using Spatiotemporal Appearance 论文笔记

2006-Person Reidentification Using Spatiotemporal Appearance 论文笔记

一、提出问题

• 需要建立对应关系，即确定应该将一个图像的哪些部分与第二个图像中的哪些部分进行比较；
• 需要生成对照明，姿势和服装的动态外观变化不变的表征。

二、论文贡献

• 提出用时空分割算法来生成对服装外观变化具有鲁棒性的显著边缘。通过组合标准化颜色和显著边缘直方图来生成不变表征。
• 提出了两种方法来生成对应关系：（i）基于模型的方法，该方法适合于个体建立对应图的关节模型，（ii）提出兴趣点算子，利用区域生长策略生成大量潜在的对应关系。

三、整体方案

本文提出了两种行人人重识别方法，分别使用兴趣算子和模型拟合来建立两个个体之间的空间对应关系。另外，本文还提出了一种新颖的时空分割算法，以空间和时间为线索生成行人的服装的不变特征。

1、基于模型的算法：需要建立从一个人到另一个人的映射。本文中使用可分解的三角图来模拟人的关节形状，动态编程算法用于使模型符合人的形象，模型拟合定位不同的身体部位，如手臂，躯干，腿部和头部，从而便于比较相应身体部位之间的外观和结构。

2、兴趣算子方法：由于人的外表的动态性，许多兴趣点算子的反应不会持续很长一段时间。为了解决这个问题，本文的策略是选择在具有高信息含量的区域中生成大量响应的运算符，从而增加在同一个体的图像之间建立真实对应的概率，在本文中应用的是Hessian仿射不变算子。特征匹配用于建立两组兴趣点之间的对应关系，基于最终一组对应关系的基数来计算匹配分数。

3、构建不变特征的方法：通过颜色和结构的组合信息来生成用于比较不同区域的不变特征。

• 基于色调和饱和度的直方图获取颜色信息
• 通过归一化实现了对环境照明差异的不变性
• 由于行人身上的衣服结构外观是高度动态的，为了解决传统边缘算子不能很好拟合衣服边缘的问题，本文提出将一种新的时空分割算法应用于图像，该算法生成显着的边缘信息
• 分水岭算法用于生成每个帧的过分割
• 将每个区域视为节点并将边缘放置在空间和时间上的相邻区域来生成时空图
• 使用将每个聚类建模为最小生成树的图分区算法生成对应于每种类型服装的显著边缘
• 区域特征用这些显著边缘的局部直方图获得。

3.1特征生成

局部区域i的特征向量表示为hi

1、局部特征的第一个分量是该区域的色调和饱和度的直方图。为了克服HSV直方图对室外场景中照明和阴影变化的敏感性，本文使用了对亮度和Gamma不变的色调定义：

 

2、局部特征的第二部分表示该区域的的结构特性，用在区域i的边缘的直方图表示。本文使用由新的时空分割算法生成的显著边缘，时空分割消除了时间上不稳定的边缘信息，仅考虑前景内部的边缘。每个边缘1对主要局部边界方向（垂直或水平）以及边缘1两侧的两个区域的RGB颜色分量之间的比率进行编码。 RGB颜色分量的比率每个被量化为4个可能的值，所以将产生7位的边缘表示。

       在匹配过程中，使用交叉直方图定义两个特征hi和hj之间的距离：

 

3.2 时空分割

本文提出以边缘的形式产生稳定的结构信息，用于定义区域特征。即使许多衣物来自具有均匀反射特性的材料，但是给定类型的材料在整个图像中和随着时间的推移可能看起来非常不同。这是因为松散贴合的衣服在铰接运动下的表面法线是高度动态的。本文提出的时空分割方法对属于相同类型结构的像素进行分组，显著边缘是位于两个分组之间边界上的像素。

由于织物有褶皱所以内部边界随时间变化是不稳定的，对于给定的时间窗，对每个图像执行过分割。这产生了一组连续区域，其中是图像t的第i个区域。图G = {V，E}由一组顶点和边