Person Re-Identification by Multi-Channel Parts-Based CNN with Improved Triplet Loss Function 阅读笔记

Person Re-Identification by Multi-Channel Parts-Based CNN with Improved Triplet Loss Function 阅读笔记

此篇论文是西安交通大学人工智能与机器人研究所龚怡宏教授于2016年发表在cvpr的一篇文章。

Introduction

人员重新识别是在多个摄像机或单个摄像机中的同一时间匹配同一个人的问题。
现有挑战性：
1）由于来自不同摄像机的不同视点而导致的视觉外观和周围环境的巨大变化；
2）人类姿势在时间和空间上的重大变化；
3）背景杂波和遮挡；
4）具有相似外貌的不同个人。

Motivation

1.如今的Re-ID工作大多是将特征学习与度量学习分开，那么能不能把两者一起学习来提高性能呢？
2.同时对整张图像直接提取特征往往不能捕捉图像中人物的细节信息，怎么能设计模型来更好利用局部特征呢？
3.之前的triplet loss仅仅使类内距离小于类间距离就行，这样学习出来的类簇相对较大，能不能学到更紧凑的类簇来提高判别力呢？
4.本文的multi-channel + improved triplet loss

Contribution

1.提出了multi-channel CNN model来同时学习身体全局特征以及局部细节特征，最后将两者结合作为输入行人图像的表示；
2.an improved triplet loss function：不仅要求类内距离小于类间距离，同时还要小于一个预先定义的margin，通过改进的loss能够进一步提高模型的精度

The Overall Framework

有三个通道组成，提取三个特征，将相似特征拉进，不同特征推远。

Multi-Channel Parts-based CNN Model

一个全局卷积层:32个特征图，7x7filter size，stride=3
全身卷积层
4个身体分块卷积层
5个各自通道的全连接层

Improved Triplet Loss Function

original triplet loss:只是要求类内小于类间距离，类簇可能相对较大，这样会影响re-id的性能。

improved triplet loss:要求类内也要小于一个margin

最终loss公式：

The Traning Algorithm

采用随机梯度下降法 （SGD） 进行训练，对上面的 Loss函数求导数

experience

CMC曲线Rank1识别率就是表示按照某种相似度匹配规则匹配后，第一次就能判断出正确的标签的数目与总的测试样本数目之比，Rank5识别率就是指前五项（按照匹配程度从大到小排列后）有正确匹配。

通过4个变体来说明本文提出方法的有效性：
Variant1(T):去除了4个body-part通道并使用原始的triplet loss
Variant2(TC):相比T，使用了改进的triplet loss
Variant3(TP):使用五个通道与原始的triplet loss
Variant4(TPC):相比TP，使用了改进的triplet loss

此模型学习的特征表示可以包含全局信息和局部详细属性。该体系结构由一组三元组训练生成特征，其目的是将同一人的实例拉得更近，同时通过组织三元组样本将属于不同人的实例推得离学习特征空间更远。