2017-ICCV-SVDNet for Pedestrian Retrieval 论文笔记

SVDNet for Pedestrian Retrieval 论文笔记

一、提出问题

卷积神经网络在进行分类时全连接层的权重向量是高度相关的，如图1-1，训练数据中的粉色和红色两个高度相关的向量会影响对测试数据的表示（粉色和红色造成了冗余），这可能最终导致粉色和红色向量投影主导欧几里德距离，并导致较差的结果。

图1-1 相关向量表示及其负面影响

造成这个问题的两个原因分别是：

• 训练样本的非均匀分布
• 在CNN训练期间很少学习正交化约束

二、论文贡献

• 提出了SVDNet，其特征在于包含去相关权重向量的FC层；
• 提出一种新颖的三步训练方案。在第一步中，权重矩阵经历奇异向量分解（SVD）并且被左酉矩阵和奇异值矩阵的乘积代替。其次，保持正交化权重矩阵固定，并仅对剩余层进行微调。第三，权重矩阵是不固定的，并且网络被训练用于整体优化。迭代这三个步骤以近似权重矩阵的正交性。

三、论文方法

图3-1 模型结构

3. 1 模型结构

• 基础骨干网络（如CaffeNet或ResNet-50）+Eigenlayer（本征层）作为倒数第二个FC层

• 将Eigenlayer定位在倒数第二个FC层而不是最后一个FC层的原因是：当在最后一个FC层上强制执行正交性时，模型将无法收敛，这可能是由于最后一个FC层中权重向量的相关性由训练样本分布决定。

• 本征层包含正交权重矩阵，并且是没有偏置的线性层。

• 不用偏置的原因是：偏置会破坏学习的正交性，实验表明添加ReLU激活和偏置项会略微影响re-ID的性能。

在测试时，可以用Eigenlayer的输入特征或者输出的特征作为测试的特征表示，两者结果相差不大，之所以Eigenlayer的输入特征也有正交特性是由于训练时的BP反向传播导致的。

3. 2 训练策略