2017-ICCV-SVDNet for Pedestrian Retrieval 论文笔记

SVDNet是为了解决卷积神经网络中权重向量相关性导致的表示问题,通过引入SVD分解和正交化约束提升行人再识别性能。论文提出了一种三步训练策略,包括去相关、约束和松弛迭代,以近似权重矩阵的正交性,从而提高模型的辨别能力。
摘要由CSDN通过智能技术生成

SVDNet for Pedestrian Retrieval 论文笔记

一、提出问题

卷积神经网络在进行分类时全连接层的权重向量是高度相关的,如图1-1,训练数据中的粉色和红色两个高度相关的向量会影响对测试数据的表示(粉色和红色造成了冗余),这可能最终导致粉色和红色向量投影主导欧几里德距离,并导致较差的结果。

图1-1 相关向量表示及其负面影响

造成这个问题的两个原因分别是:

  • 训练样本的非均匀分布
  • 在CNN训练期间很少学习正交化约束

二、论文贡献

  • 提出了SVDNet,其特征在于包含去相关权重向量的FC层;
  • 提出一种新颖的三步训练方案。在第一步中,权重矩阵经历奇异向量分解(SVD)并且被左酉矩阵和奇异值矩阵的乘积代替。其次,保持正交化权重矩阵固定,并仅对剩余层进行微调。第三,权重矩阵是不固定的,并且网络被训练用于整体优化。迭代这三个步骤以近似权重矩阵的正交性。

三、论文方法

图3-1 模型结构

3. 1 模型结构

  • 基础骨干网络(如CaffeNet或ResNet-50)+Eigenlayer(本征层)作为倒数第二个FC层
  • 将Eigenlayer定位在倒数第二个FC层而不是最后一个FC层的原因是:当在最后一个FC层上强制执行正交性时,模型将无法收敛,这可能是由于最后一个FC层中权重向量的相关性由训练样本分布决定。
  • 本征层包含正交权重矩阵,并且是没有偏置的线性层。
  • 不用偏置的原因是:偏置会破坏学习的正交性,实验表明添加ReLU激活和偏置项会略微影响re-ID的性能。

在测试时,可以用Eigenlayer的输入特征或者输出的特征作为测试的特征表示,两者结果相差不大,之所以Eigenlayer的输入特征也有正交特性是由于训练时的BP反向传播导致的。

3. 2 训练策略

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值