人脸重识别：A Discriminatively Learned CNN Embedding for Person Re-identification(2016)

最新推荐文章于 2023-07-24 14:48:32 发布
最新推荐文章于 2023-07-24 14:48:32 发布
阅读量754 收藏 1
点赞数
分类专栏： 人脸识别和行人重识别 文章标签： reid

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_41427758/article/details/80091596

论文地址 
代码实现：Matconvnet、caffe、keras

https://github.com/D-X-Y/caffe-reid

Motivation

  • 现在主流的两种re-ID卷积网络:verification and identification models，这两种网络因为损失函数的不同各有优缺点
  • 那么能不能把这两种网络结合一下来得到一个能学习到更具区分能力的表示呢？

Contribution

  • 提出了siamese network结合了identification loss与verification loss
  • 这种网络可以同时学习到discriminative embedding与similarity measurement
  • 在大型数据集上与得到了与SOTA相当的准确率

Introduction：

  • 近几年re-ID领域进步的因素： 
    • 大规模数据集的出现
    • 使用卷积神经网络来学习行人的embedding，能学到更加鲁棒对的特征

  • 常用的两种模型(a)identification(b)verification，如下图： 


     

     

  • verification model的缺点：只利用了弱re-ID标签，没有考虑图像对以及其他图像之间的关系

  • identification model的缺点：训练目标与最后的测试目标不符合，没有考虑图像对之间的相似度度量 


     

     

  • 那么有没有可能结合上述两种模型来达到互补呢？–> 本文提出的模型(见下文)

A.Verification Models

  • 1993, Bromley第一次使用verification models
  • 通常输入一个图像对，输出为通过计算低维特征的余弦距离得到的相似性得分，学习使用contrastive loss
  • 2014 Yi et al.首次使用了verification models来进行Person Re-ID等等~

B.Identification Models

  • 随着数据集的增大，可以在不过拟合的情况下训练深层的分类模型来得到discriminative embeddings

C.Verification-identification Models

  • 结合两种loss的模型在人脸识别中已经有一些工作，eg.DeepID networks等
  • 本文工作与人脸识别工作的不同： 
    • 数据集大小对于loss的选择：人脸识别数据集一般很大，训练集有202599张图片，10177个身份，而Re-ID通常只有12936张751个身份的图片，前者可以使用contrastive loss，而后者使用contr loss会过拟合，本文使用了cross-entropy loss，下文会进一步解释原因
    • dropout的使用：dropout会在随机的位置产生0值，不能在contrastive loss前使用，相反，采用crooss-entropy可以使用dropout来减少过拟合
    • DeepID从头开始训练，本文借助了pretrained model on ImageNet，即使用了transfer learning（一定程度上弥补了数据不足吧）

Proposed Method

Preview 


 

 

  • 上图说明了verication models、identification models与our model在一个batch上图像对之间的关系图。 
    • 实线代表由verification loss建立的直接联系，eg.通过pair-wise的比较直接建立相似度的联系
    • 虚线代表由indetification loss建立的间接联系，通过cross-entropy: loss=−log(pgt)loss=−log(pgt)，其中 pgt=Wgtfi pgt=Wgtfi，为了最大化 Wkfm,WkfnWkfm,Wkfn，当fmfm与fnfn与WkWk有相似向量方向时网络达到收敛
  • 正如之前提到的(a)、(b)的不足，很容易看出our model结合了(a)、(b)两种模型的优势

Overall Network 


 

 

  • 上图为本文提出的网络结构:

    • two ImageNet pre-trained CNN models
    • three additional Convolutional Layers, one Square Layer and three losses
    • 本文用卷积层代替了全连接层，用1x1x4096x751得到1x1x751的输出向量
    • 之前工作在中间层含有matchingfunction，本文直接比较f1, f2f1, f2作为相似性度量
    • Square Layer：用来比较高级特征 

      fs=(f1−f2)2fs=(f1−f2)2

    • Square Layer后跟着一个卷积层将fsfs作为输入得到2维向量(q^1,q^2)(q^1,q^2)来表示两张输入图片属于一个人的概率，从而将行人验证看成一个二分类问题，使用类似identification loss的cross-entropy loss,式子如下： 

      q^=softmax(θs∘fs),Verif(f1,f2,s,θS)=∑i=12−qilog(q^i)q^=softmax(θs∘fs),Verif(f1,f2,s,θS)=∑i=12−qilog(q^i)

  • 为什么没有使用Contrastive loss而使用softmax loss呢？

    • contrastive loss是一种回归loss，使相同类别的嵌入尽可能的近，由于re-ID数据集中的identity很少，很容易过拟合
    • dropout会引入0值不适合在contrastive loss前使用

  • 为了比较三种模型的效果：本文训练了三个网络来做实验得到了下图：

    • 实验结果如下： 


       

    • 可视化的角度说明了本文的方法结合了Verif、Classfi两种model的优势 


       

  • 文中通过对网络得到的embed进行可视化发现衣服颜色可能是re-ID最重要的线索，同时也发现本文的方法对于一些viewpoint variations很鲁棒  

     

Traning and Optimization

  • Input preparation: 
    • 图片resize 256 * 256
    • 减去训练集上的均值
    • crop 227*227 或 224*224（CaffeNet、ResNet50、VGG16)
    • 对数据集进行了打乱，使用随机的图片顺序，然后选择从相同或不同类别中选择一个张图片与其组成P、N对
    • 初始negative ： positive = 1：1，在每个epoch后乘以1.01直到1:4，来防止过拟合
  • Training 
    • 训练epoch:ResNet50、VGG16、CaffeNet分别为75、65、155
    • batchsize：48、48、128
    • 初始学习率:0.001 最后5个epoch 0.0001
    • SGD
    • 对三个loss分别计算梯度然后进行了加权，verification loss权重为1，其他两个identifcation loss为0.5
  • Testing 
    • 先把gallery中的图片通过网络计算得到4096-dim的pedestrian descriptor ff，并存储起来，然后在线计算query的descriptor。
    • 对query与gallery的features计算余弦距离并排序得到最后的rank结果
    • 特征经过L2-normalized后,余弦距离等价于欧式距离

EXPERIMENTS

  • 在Market1501、CUHK03以及Oxford Buildings上进行了实验
  • baseline: 
    • 直接fine-tune pretrained model on ImageNet
    • 下表为在Market1501上的baseline 


       

  • Cross-entropy vs. Contrastive loss: 
    • 将cross-entropy loss换成Contrastive loss性能有所下降，原因可能是不能使用类似dropout的正则化手段引起了过拟合。

  • 其他一些结果 


     

     


     

     


     

     

  • 对上图的结果的思考：对于第三行的rank1来说，我们人很容易从发型来区分出来，如何设计结构来区分这种种细节特征呢，之前的Gated SCNN感觉是一种思路。

  • Results between camera pairs：比较了不同摄像头下的性能 


     

  • Large-scale experiments：gallery中多了500K的图片 


     

    • 当多了500K图像时候，本文的模型比之前的baseline精度降的快，作者给的原因是Market数据集相对较小，文中的模型可能过拟合比较严重一些。
  • Instance Retrieval：在Oxford5k上取得了不错的效果，说明了模型的通用性 


     

 

CONCLUSION

  • 总结了提出的模型
  • Future work： 
    • 将方法用到新的场景：车辆识别、细粒度分类
    • 研究如何学习robust descriptor，进一步提高Person Re-ID在大的gallery的性能
BigCowPeking
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Discriminatively Learned CNN Embedding for Person Re-identification
03-03
《Discriminatively Learned CNN Embedding for Person Re-identification》论文PPT
人脸检测与人脸识别概述
关于我的学习记录
12-16 2858
人脸识别Face Recognition综述
4.2-基于opencv的人脸检测与重识别
irony0327的博客
07-24 168
级联分类器是通过不同的特征进行一步步筛选，得出这些特征组合所属的最终分类，它将一个复杂的分类问题（如人脸检测）拆解为一个个简单的分类问题（如眼睛、鼻子、嘴巴等的检测），再通过级联条件的判断得出复杂问题的分类结果，有助于提升分类的速度。，这个函数将一帧图像中的全部人脸提取出来，将这些人脸在当前帧图像中的位置组成的列表放入返回值faces中。其元素为（x，y，w，h），分别代表人脸框的左上角点的x、y坐标，人脸框的宽度w和长度h。代码在第一节人脸检测的基础上，增加了对检测到的人脸图像进行识别的功能。
2017 TOMM-A Discriminatively Learned CNN Embedding for Person Re-identification
Bo's Blog
04-26 3137
论文地址 代码实现：Matconvnet、caffe、keras Motivation 现在主流的两种re-ID卷积网络:verification and identification models，这两种网络因为损失函数的不同各有优缺点 那么能不能把这两种网络结合一下来得到一个能学习到更具区分能力的表示呢？ Contribution 提出了siamese network结...
【Person Re-id】A Discriminatively Learned CNN Embedding for Person Re-identification
booyoungxu的专栏
11-10 3058
verification model:同时输入image pairs，network预测输入图片是否为同一个人，将问题当成一个二分类来看。这样导致没有完全用到标注信息，image pairs和数据集中的其他图片的关系被忽略了。 identification model：将Person Re-id问题看做一个multi-class recognition task，利用数据的原始标注信息结合cross
【开源代码合集】行人重识别
junmuzi的专栏
02-08 5904
original url:http://blog.csdn.net/Layumi1993/article/details/55798568?locationNum=2&fps=1关于行人重识别综述，推荐一下liang zheng 2016年的综述: Past, Present and Future 写了从传统方法到深度学习，从图片到视频的行人重识别的方法。以下为一些公开的行人重识别代码链接...
A Discriminatively Learned CNN Embedding for Person Re-identification 论文记录
baidu_26375059的博客
10-30 373
A Discriminatively Learned CNN Embedding for Person Re-identification Abstract:在re-ID中，重要有两种两种流行的CNN模型，verification models（输入两张图片，判断是不是同一个人），identification models（给定图片，判断人物身份或是找到相同的人）。本文结合了这两种模型，找出更具区...
【行人重识别】A Discriminatively Learned CNN Embedding for Person Re-identification
郑哲东的博客
12-11 6546
A Discriminatively Learned CNN Embedding for Person Re-identification 这篇paper主要提出的是一种 行人重识别 的方法。 1. verification label 为0,1二值。如果输入的两张图片为同一人，则为1，否则为0。 显然，这个label较弱，由于它没有利用上整的数据集的标注信息（每次只考虑了两个或三个样本之间label的关系，如contrastive loss 和 triplet loss）。
Discriminatively Trained Particle Filters for Complex Multi-Object Tracking
04-23
粒子滤波的一个应用
caffe-reid, 一个Discriminatively学习用于个人识别的CNN.zip
09-17
caffe-reid, 一个Discriminatively学习用于个人识别的CNN 学习CNN嵌入人的识别本文介绍了一种基于的caffe -based实现，提供了整个培训。测试和评估。这里的官方代码( 用matconvnet编写) 在这里可用。 准备下载 ...
Object Detection with Discriminatively Trained Part-Based Models
11-03
approach for data-mining hard negative examples with a formalism we call latent SVM. A latent SVM is a reformulation of MI-SVM in terms of latent variables. A latent SVM is semiconvex, and the ...
[2008 CVPR] A Discriminatively Trained, Multiscale, Deformable Part Model
12-24
[2008 CVPR] A Discriminatively Trained, Multiscale, Deformable Part Model 文章翻译见： http://blog.csdn.net/masibuaa/article/details/17533419
系统辨识 Identification Algorithm（基础篇）
FallyJ的博客
04-27 8845
目录 目录 目录 基础知识 什么是系统辨识 辨识模型 噪声 矩阵运算 模型 时间序列模型 Time series model 方程误差模型 Equation error type model 输出误差模型 Output error type model 最小二乘法 Least Squares Principle 基础知识 什么是系统辨识 Identification can be defined as the determination of a mathematical mo
行人重识别(ReID)概述
热门推荐
Bo's Blog
07-24 7万+
什么是Re-ID? 行人重识别（Person Re-identification也称行人再识别，简称为ReID，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。 为什么要Re-ID？ 在监控视频中，由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片。当人脸识别失...
1611.A Discriminatively Learned CNN Embedding for Person Re-identification论文阅读笔记
xuluohongshang的博客
01-02 1751
reid相关的问题： car recognition/fine-grained classification/objective retrieval/image retrieval/instance retrieval/Pedestrian retrieval基于identification loss的reid方法和基于verification loss的reid方法框架图： 作者分析了基于id
代码笔记：caffe-reid中generate_caffenet.py解析
学习专栏，期待交流与成长
03-03 2427
代码地址如下。该代码是用caffe实现的《A Discriminatively Learned CNN Embedding for Person Re-identification》 其中generate_caffenet.py实现的功能是，生成网络文件。其中包括了如下4个文件： train.proto、solver.proto、dev.proto、devploy.proto
A Discriminatively Learned CNN Embedding for Person Re-identification
升级迭代
04-12 526
推荐： https://blog.csdn.net/Layumi1993/article/details/53562566 (作者提供了 matconvnet，caffe，keras三种实现。) 作者主页http://zdzheng.xyz/
代码笔记：caffe-reid的数据预处理
学习专栏，期待交流与成长
03-03 2003
代码地址如下。该代码是用caffe实现的《A Discriminatively Learned CNN Embedding for Person Re-identification》 https://github.com/D-X-Y/caffe-reid 数据预处理 关于其数据集marker1501的下载及配置，上诉github链接就有详细的说明。而代码中的数据预处理模块是值得重点关注的内容
基于matlab实现的一种新型的配电网潮流计算,基于前推回代法
最新发布
05-03
基于matlab实现的一种新型的配电网潮流计算,基于前推回代法，并附有10kv配电网数据，利用新的判别手段，成功解决配电网不收敛的问题.rar
[2010 PAMI] Object Detection with Discriminatively Trained Part Based Models
01-21
[2010 PAMI] Object Detection with Discriminatively Trained Part Based Models Pedro F. Felzenszwalb, Ross B.Girshick, David McAllester and Deva Ramanan 翻译见：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值