题目:Neural Feature Search for RGB-Infrared Person Re-Identification
作者:Yehansen Chen
一、研究动机
1.无论特征合成还是特征共享,REID的关键都是找到足够的高质量鉴别性特征。
2. 人工驱动:用partition stripes , human landmarks, parsing maps, and body contour sketches这几种手工方法设计出的模块不能很好适应类内类间模态变化
3. 数据驱动:受神经结构搜寻的启发
二、研究目标
1.实现特征的自动选择。
2.用数据驱动的搜索神经元发现鉴别性特征。
3.将特征选择看作一个优化问题。
三、技术方法
1. Baseline RGB-IR Person ReID
为提取模态不变特征,第一层卷积互相独立,后续卷积层共享,学习鉴别性特征。
2.Modality-aware Neural Feature Search
与NAS方法搜索最佳拓扑和操作来构建高性能体系结构不同,NFS从基于CNN的特征空间中搜索与身份相关的特征。这篇论文将自动特征搜索转换为一个超参数学习任务,将超参数和网络权值进行联合优化,推导出最优的鉴别性特征子集。
解决这个问题的两个关键点:
(1)Dual-level Feature Search Space
搜索空间定义了原则上可以发现的神经结构;搜索空间包括由每个共享卷积块提取的所有候选特征(鉴别性特征主要是由baseline的共享部分提取)。
L:共享模块
X:输入特征图
YL:输出特征图
p:像素点位置
Wc:卷积层权重
引入了模态感知搜索单元,将原始特征空间Y分解为两个子空间:像素级子空间(局部)和通道级子空间(全局)。
搜索单元具体工作过程:
①初始化一组具有均匀分布的参数P,以将特征从模态m映射到一个特定的概率场;
②激活概率场,来表示该特征识别身份的可能性
③用G挑选像素点
④输出激活图
⑤等式2被转化为一个优化问题
(2)Search Algorithm
为了提高效率,我们利用重参数化技巧释放搜索空间。
3.Cross-Modality Contrastive Optimization
从不变特征选择的角度来减少特征分布的差异;
随机组成跨模态对,并根据身份生成对标签;
四、实验结果