数据集与代码链接见文末
1.数据集
这里数据集使用的是Duke数据集,但是,并不是直接使用原始的数据集,而是将数据集进行处理后得到的遮挡数据集
2.整体流程
首先在第一阶段,我们通过一个CNN Backbone提取得到特征图,然后使用一个训练好的姿态估计算法得到 各个关键点的热度图(即以关键点为中心的概率热度图) ,乘以特征图,就取出了各个关键点对应的局部特征,对所有的局部特征进行平均池化就得到了全局特征。 为了使第一个阶段的局部和全局特征做得更好,需要加入多个损失
第一个阶段得到的关键点并不是孤立的,而是存在特定的关系。因此,在第二个阶段,我们加入关键点之间的关系(先验),使用图卷积学习更新关键点之间的关系和特征。同时,使用local-global特征获得的差异特征利用来学习邻接矩阵A。 有了A就能开始图卷积,用它来指导如何利用不同关键点的特征进行组合,最终再与输入的局部特征进行整合。
第三阶段依然是行人重识别的匹配问题,不过这里使用的是图匹配,为什么不使用其他行人重识别的距离匹配呢?因为会引入遮挡部分的特征。图匹配构建了一个相似度矩阵,相似度匹配能够很好的控制匹配的过程,筛选掉遮挡部分的特征,在匹配的流程中,依旧会构建AP和AN并使用三元组损失,同时