云从科技：详解跨镜笔记

目录：
ReID的定义及技术难点
常用数据集与评价指标简介
多粒度网络（MGN）的结构设计与技术实现
应用场景与技术展望

行人智能认知：
行人检测，行人分割&背景替换，骨架关键点检测&姿态识别，行人跟踪/MOT，动作识别，
行人属性结构化，跨镜追踪&行人再识别（ReID）

ReID的定义:
技术趋势：行人识别是继人脸识别后一个重要的研究方向
人体对象：研究的对象是人的整个特征，包括衣着、体态、发型、姿态等
跨摄像头：关注跨摄像头上的行人再识别问题
与人脸的关系：可以作为人脸识别技术的补充，并相互作用，应用于更多场景

技术难点：
实际应用场景下的数据非常复杂，会受到各种因素的影响，这些因素是客观存在的
无正脸照 姿态 配饰 遮挡
更多因素：拍摄角度，光线，服饰变化，环境变化等

数据集：Market1501 DukeMTMC-reID CUHK03

评价指标：mAP 平均精度均值

ReID实现思路与常见方案：
基本流程：RawFrame -> Detect -> ReID
实现思路：
1.检索图经过网络抽取图片特征
2.底库里的所有图片全部抽取图片特征
3.将检索图与底库图的特征计算距离（例如欧式距离）
4.根据计算距离进行排序，排序越靠前表示相似度越高

基础骨干网络：Resnet50 224x224x3 (五层CNN) 特征图谱（7x7x2048）池化层 输出特征向量2048 全连接层 1000分类

1.表征学习
分类损失：softmax loss
对比损失：contrastive loss
2.度量学习
基于triple loss(三元损失)
3.局部特征学习
将整体图片动态均分为三份，进行训练，再合 / 基于姿态估计局部特征调整 各部位分别操作 / PCB 将特征图谱纵向分割，每部分单独进行softmax 分类

多粒度网络（MGN）：
设计思路：全局特征+多粒度局部特征
1.全局分支负责最粗粒度的信息
2.随着分块数量的增加，表示更细粒度的局部信息
3.深度学习能够自动关注到整体图片中感兴趣的位置，如果图片分割后它应该也能够再局部图中关注到更丰富细节位置，这样就可以获取更多的信息。
4.我们的观察中，确实发现了随着分割粒度增加，网络确实学习到更多的细节信息。

设计原理：兼顾全局与局部细节，端到端学习
三级粒度 -> 三支路网络 -> 整合所有特征

网络结构：

损失函数：

应用场景：安防，寻人等