ReID| Progressive Learning for Person Re-Identification With One Example （已读完）

最新推荐文章于 2023-06-12 20:14:47 发布
最新推荐文章于 2023-06-12 20:14:47 发布
阅读量1k 收藏 4
点赞数 2
分类专栏： 小样本学习 ReID
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinxian9019/article/details/107733157
版权

文章目录

读书笔记

创新点

1、 利用了 index-labeled data
2、dynamic sampling strategy :
3、标签估计 使用 基于距离的
4、联合训练方式
5、扩展性： one-example to few-example

可能着手的切入点、

1、 标签估计 ： 基于距离的
2、模型优化： 利用了反面样本
3、训练策略
4、扩展性

我的疑问

在这里插入图片描述

1、分类器f ， 的作用？

在这里插入图片描述
2、NN 最近邻选择 S ， 选择伪标签， 标签估计。

Introduction

1、Re-ID 从全监督到半监督

2、半监督方法中 从静态采样策略 , 到本文的 动态采样策略

选择 pseudo-labeled data , 通过设置一个预定义好的固定的阈值，当样本的可信度超过阈值，就设置为为标签。 刚开始初始化的时候， 只有很少的样本可以选择， 但随着模型迭代，将会导致更准确的预测结果。

本文： 初始化时，还是选择可信的伪标签，但随着模型的增加， 被选择的子集越来越大。 初始化的时候只选择最简单最可靠的。

之后的迭代中， 选择更多维度更困难的数据作为伪标签数据。

3、从 a labeled tracklet 到 only one image labeled for each identity。

4、训练数据： 从两种数据、到三种数据

5、 exclusive loss 排他性损失 用于优化CNN ， 使用unselected index-labeled data

6、联合训练方法 joint learning method ，使用三种数据同时更新CNN模型

前两种数据，提取他们的CNN特征后， 使用分类器， 比较 ientity predictions 和 labels 。 ?

对未选择的数据， 使用 exclusive loss 优化损失。

Related Work

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

The Progressive Model

Framework

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

两个迭代过程：
1、训练CNN模型， 使用L S M 联合训练。
2、标签估计， 选择最可靠的样本估计

在第一个迭代过程： 所有无标签数据没有伪标签
在后面的迭代过程： 持续扩大选择的候选伪标签，剩下的无标签数据： index
在下个迭代过程中： 伪标签 ”通过特征空间中最近邻的已有标记邻居实体标签 分配。
（数据之间的的距离： 差异损失，用于衡量伪标签的可靠性）

公式和表示

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

指代

（x,y）, x 是数据， y 是标签
L = {（x1,y1），（xnl,ynl）} , the labeled data set
U= {x，x, x, … x…} , the Unlabeled date set
S = {(x,y~ ),()<()} , the pseudo-labeled set St
M ， the index data set
评估stage: 先将所有查询数据 和 库 数据 ， 使用训练好的CNN模型将 查询数据和库数据映射到特征空间
查询结果 the query result ： 根据在gallery data 中的欧式举例排序结果
the Euclidean Distance : 未标签数据和 gallery data 的特征空间距离。
the pseudo label (xi，yi~) : 根据欧氏距离排名估计yi~

联合学习 The joint Learning Method

The Exclusive Loss ： M 中， 各个index样本之间的特征距离 的最大值

在这里插入图片描述
在这里插入图片描述
通过L2正则化 ， 将， 最大化欧氏距离，转化成 最小化 下列公式 softmax-like loss:

在这里插入图片描述

V 是 分数查询表， 每个index-labeled data xi 的特征
τ 控制未标记样本之间的差分级别

τ高，导致更弱的概率分布。

查询表V： 避免在每个训练步骤中从所有数据中提取特征的穷举运算。

**the foward operation : ** 计算 xi 和其他data 之间的 相似性： 在这里插入图片描述
**the backward ： ** 更新表V中的 ith 列 ：
在这里插入图片描述
然后L2正则化vi为一个单位向量。

无论是伪标签样本还是真实标签样本， 都能通过 探索图像之间的不同， 得到虚弱的监控信息。

The Joint Objective Function

L标签数据目标函数

在这里插入图片描述

S伪标签数据目标函数

在这里插入图片描述

目标函数 L + S + M

在这里插入图片描述

λ 用于调整， exclusive loss 和 classfication loss 之间的贡献程度。

在这里插入图片描述

The Sampleing 标签估计： 从无标签样本中选择 S 伪标签样本

基于最近邻的距离 分类器 ， 而不是学好的实体分类器。

选择在特征空间中和 距离已标记的样本距离最近的 ，标记伪标签
在每个迭代步骤t中， 选择第t个迭代中的伪标签，用于训练， 通过设置下面的选择标记 st 。
在这里插入图片描述
mt ： 选择的伪标签数据的大小， st ， 是所有si的垂直级联

迭代过程

1、
1、在每个过程中，使用公式5优化
在这里插入图片描述
2、使用公式8估计伪标签数据
在这里插入图片描述
3、然后利用公式8估计伪标签，并将训练后的模型应用于公式9中，选择一些可靠的标签。

4、不要在初始迭代的过程中加入太多伪标签数据。

动态采样策略

在开始阶段从一小部分伪标记数据开始，然后在接下来的阶段中合并更多不同的样本。
在开始阶段伪标记数据的比例，然后在后续阶段合并更多不同的样本。

在这里插入图片描述

开始阶段：

1、 设置 m0 = 0 ， M0 = U
2、优化模型 ：
1） identify classification training ： L
2) unsupervised training by exclusive losss : U (其实就是M )

后续迭代：

1、 逐步增加伪标签采样数据集的容量： 设置 mt = ,其中p 在（0,1）之间， 扩大因子， 用于控制 每次迭代采样的速度。
在这里插入图片描述

Experimental analysis

Evaluation Metrics

CMC :

the Cumulative Matching Characteristic (CMC)
累计匹配特性

mAP ：

the mean average precision 均值平均精度
The mAP is calculated as the mean value of average precision across all queries.

AP ： average precision

排名1，排名5，排名10，排名20的分数来表示CMC曲线。CMC得分反映的是检索精度，而mAP反映的是召回率。

在这里插入图片描述

Experiment Setting

1、 随机选择一个图像 ，作为初始化。

2、 使用 ResNet-50 ， 去掉其最后的分类陈， 作为本文模型的特征提取模型 φ

3、 使用ImageNet 预训练模型初始化ResNet-50

4、为了优化模型的标签损失，在CNN特征提取器顶部 追加并批处理规范的（batch normalization）一个 额外的全连接层 + 一个分类层

5、exclusive loss , 通过一个标准化的全连接层处理 the unlabeled feature ,再追加一个L2-normalization 操作。

6、temperature scalar τ = 0.1 ， 未标记样本之间的差分级别

7、 λ=0.8： exclusive loss 和 classification loss 之间的贡献程度。

8、 每个模型更新步骤， SGD设置为： momentum = 0.5 , weight decay = 0.0005 ,

9、 70 epochs , batch size 16 .

10 、learning rate 学习率 ： 初始化为0.1 ，

11、在最后15个epochs ： 设置λ= 1 ，学习率= 0.01

12、在CNN提取器最后，增加了一个 时间平均池化层（temporal average）, 在这里，明智的将所有frame的 特征平均化。

在这里插入图片描述在这里插入图片描述

Ablation Studies

1、 Joint learing method 联合学习方法

2、 Dissmilarity criterion 差异性标准
在这里插入图片描述

结论

1、基于视频的任务（MARS）的改进相对较小。主要原因是基于视频的re-ID任务中的一个示例初始模型比基于图像的初始模型要健壮得多，因为初始轨迹包含许多相同身份的图像（火星上平均62帧）。从精度上可以看出，初始轨迹包含许多相同身份的图像（火星上平均62帧）。

2、利用一个相对稳健的模型对未标记的数据进行挖掘可能对特征学习没有太大的帮助。

在这里插入图片描述
The label estimation accuracy and re-ID performances of sampling by classification the classification loss as the criterion. The label estimation accuracy and re-ID performances of sampling by classification loss and by dissimilarity cost are illustrated in Figure 3 and Table III. We observe the huge performance gaps in Figure 3 for both label estimation and evaluation.

3、图三是标签估计准确率， 和 分类措施采样的性能， 和 差异性损失D 。 recall= mAP ?

D: 使用分类损失作为评价标准

** 结论：**
1） 这两种评价损失，， 都在stage 刚开始时， 实现了相似， 并且高准确率。
2）随着伪标签数据的逐渐增加， 这两种评价损失标准的差距逐渐拉大。
3） the classification loss 的结果表明，该评价loss 的性能在刚开始是增强， 但在之后的序列中迅速的下降。
4） the dissmilarity loss 的性能总是更好。

在这里插入图片描述

结果分析

由于我们只收集了几个最可靠的未标记样本作为伪标记数据，因此标签估计的精度在一开始就比较高。随着迭代的进行，我们将更多的未标记数据引入伪标记集中，导致标签估计的精度不断下降。然而，在这一过程中，标签估计的召回分数随着使用更正确的伪标签数据而逐渐增加。总体标签估计性能F-score在前几次迭代中出现快速增长，在最后一次迭代中性能略有下降。有趣的是，re-ID的评价绩效（Rank-1和mAP得分）与F-score呈现出相似的曲线，这表明标签估计质量是一个示例任务的关键因素。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

zhaoyuyu_nudt
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【PLPR】Progressive Learning for Person Re-Identification with One Example
Joselyn的科研助手-引文管理
05-29 392
【PLPR】Progressive Learning for Person Re-Identification with One ExampleBibtexPublic informationFieldsCode linkMain workKey technologyFrameworkDatasetResultsAlgorithm Bibtex @article{plpr, title = {Progressive Learning for Person Re-Identification with On
One-Shot Video-Based Person Re-Identification by Stepwise Learning (comment)
凹酱的DEEP LEARNING
03-13 525
Exploit the Unknown Gradually: One-Shot Video-Based Person Re-Identification by Stepwise Learning (Sydney大学) 用未标注样本解决单标注样本下的视频行人重识别问题 逐渐利用未标注样本，来解决单标注样本（one-shot）情况下的视频行人重识别问题（video-based person re-...
Progressive Learning for Person Re-Identification with One Example[reading notes]
Joselynzhao
04-18 1615
# 导言 > 这篇文章是Yu Wu在继[Exploit the Unknown Gradually: One-Shot Video-Based Person Re-Identification by Stepwise Learning(EUG)](https://blog.csdn.net/NGUever15/article/details/88930864)之后发表的一篇文章，文中工作基于EUG进行，对其进行进行了优化。建议阅读本文之前先阅读EUG对工作内容有初步了解，本博文也针对Progressive
【FSR】Feature Space Regularization for Person Re-Identification with One Sample
Joselynzhao
07-05 515
Feature Space Regularization for Person Re-Identification with One SampleAbstractI. INTRODUCTIONFramework.Our Method.II. RELATED WORKSA. Supervised Re-IDB. Semi-supervised Re-IDC. Unsupervised re-IDD. Progressive LearningIII. THE PROPOSED METHODA. Overall.
【PR 2021】Progressive sample mining and representation learning for one-shot person re-identification
Joselynzhao
08-27 455
文章目录内容概要工作概述成果概述方法详解方法特点方法框架算法描述具体实现实验结果总体评价引用格式参考文献 内容概要 论文名称 简称 会议/期刊 出版年份 baseline backbone 数据集 Progressive sample mining and representation learning for one-shot person re-identification PSMA Pattern Recognition 2021 Y. Wu, Y. Lin, X. Dong, Y..
Deep Learning for Person Re-identification A Survey and Outlook
05-15
这是一篇关于Deep Learning for Person Re-identification A Survey and Outlook的中文翻译，逐句机翻，然后进行人工逐句校正，整篇翻译耗时本人几天时间，希望对你有所帮助。
Omnidirectional Feature Learning for Person Re-Identification.pdf
05-10
2019年IEEE Access上发表的一篇行人再识别文章。 本文提出一个多分支深度模型。...我们在Market-1501,CUHK03 和 DukeMTMC-reID上做了大量对比试验，本文提出的深度框架优于其他有竞争力的先进方法。
Deep-High-Resolution-Representation-Learning-for-Cross-Resolution-Person-Re-identification:IEEE多媒体交易杂志（正在审查中）
03-17
我们提出了一种深度高分辨率伪暹罗框架（PS-HRNet），以解决跨分辨率人员的re-ID问题。 具体来说，为了恢复低分辨率图像的分辨率并合理利用特征图的不同通道信息，我们引入并创新了带有通道注意（CA）机制的VDSR...
2019 ArXiv之ReID：Hetero-Center Loss for Cross-Modality Person Re-Identification
01-06
Hetero-Center Loss for Cross-Modality Person Re-Identification 当前的问题及概述： 目前所有的框架都在解决跨模态差异问题，很少有研究探讨改进类内跨模态相似性。 本文提出了一个新的损失函数，称为异中心损失...
PersonReID-TSF:AAAI 2020 论文代码 Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect
05-29
如果您发现此代码对您的研究有用，请考虑引用： @article{jiang2020rethinking, title={Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect}, author={Xinyang ...
Progressive Mimic Learning：Train Lightweight CNN Models
09-28
CNN轻量化的新工作
Progressive learning
最新发布
yore0531的博客
06-12 230
True 结果为[True, True, True, True, True, True]，则nozero返回(array([0,1,2,3,4,5]),) ,nozero[0] = [0,1,2,3,4,5].在小的crop patches上训练Transformer模型可能无法对全局图像统计进行编码，从而在测试时对全分辨率图像的效果不佳。网络在早期的时代在较小的图像patch上进行训练，在后期的训练时代在逐渐变大的patch上进行训练。sequence: 可以是一个列表，元组，字符串，或集合。
（论文阅读）STEP:Spatio-Temporal Progressive Learning for Video Action Detection
weixin_43659035的博客
07-29 2018
** 用于视频动作检测的时空渐进学习** 摘要： 本文提出了一种用于视频时空动作检测的渐进学习框架——时空渐进动作检测器。从几个粗略的建议长方体开始，我们的方法通过几个步骤逐步细化建议，使之成为行动。这样，高质量的提案(即，坚持动作动作)可以通过利用前面步骤的回归输出，在后面的步骤中逐步获得。在每一个步骤中，我们都及时地对建议进行适应性扩展，以包含更多相关的时间上下文。与以往一次运行中执行动作检测...
【步态识别】GaitMPL 算法学习《GaitMPL: Gait Recognition with Memory-Augmented Progressive Learning》
一只菟葵的博客
11-27 1153
本文提出了一种新的渐进式学习网络GaitMPL，用来解决步态识别中的困难样本问题。GaitMPL由两个模块构成，即动态重加权渐进式学习（DRPL）和全局结构对齐记忆库（GSAM）。DRPL通过从易到难的渐进式学习，来缓解学习目标在简单和困难样本之间的不一致性；GSAM引入了记忆机制来增强渐进式学习过程，使用结构对齐的策略保持特征的可靠性。在两个主流的基准数据集的实验表明GaitMPL的有效性和可推广性。其两个模块可以被集成到大多数现有的方法中，可能实现识别性能的提高，并且在测试阶段没有引入额外成本。
论文浏览(41) STEP: Spatio-Temporal Progressive Learning for Video Action Detection
清欢
09-10 825
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题&有什么可以借鉴 0. 前言 相关资料： arxiv github 论文解读 论文基本信息 领域：时空行为检测 作者单位：马里兰大学 & NVidia 发表时间：CVPR 2019 1. 要解决什么问题 Spatio-temporal action detection 任务的难度较大 一个action tube一般来说包括了空间上的变换，这会导致proposal的生成与微调更有难
CVPR2022-图像恢复重建Restormer论文解读
热门推荐
weixin_44791486的博客
03-18 1万+
CVPR2022文献解读之Restormer 图像恢复重建： Restormer: Efficient Transformer for High-Resolution Image Restoration 原文传送： https://arxiv.org/abs/2111.09881 官方源码：https://github.com/swz30/Restormer 文章目录CVPR2022文献解读之Restormer写在开始一、文献定位二、创新点三、网络结构1. MDTA（multi-dconv head tr
阅读《Deep Progressive Reinforcement Learning for Skeleton-based Action Recognition》
Ubuntu装机必备
08-07 2101
一： 本文的目的 如题目所说的，本文的主要工作是提出一个深度逐步改进的强化学习方法来做基于骨架的动作识别。说白了，就是做基于骨架数据的动作识别。 如上图所示，给定一个输入：vedio，然后最终目的是输入一个标签能判断这个视频中的模型在做什么动作。 思路简单概括为： 1. 我们的输入是一段视频，视频中有多个帧。 2. 我们想用RL的算法来选择关键帧（本文是FDNet） 3. 再把选取...
读书笔记5：Deep Progressive Reinforcement Learning for Skeleton-based Action Recognition
b224618的博客
07-21 5284
这篇文章开篇就指出，我们的模型是要从人体动作的序列中选取出最informative的那些帧，而丢弃掉用处不大的部分。但是由于对于不同的视频序列，挑出最有代表性的帧的方法是不同的，因此，本文提出用深度增强学习来将帧的选择模拟为一个不断进步的progressive process。 这篇文章处理的问题是skeleton based action recognition，提出的模型的示意图如下：  ...
temporal segment networks 核心代码
Charel_CHEN的博客
08-08 2152
temporal segment networks 核心代码 标签（空格分隔）： 源码 temporal segment networks 核心代码 网络结构 prototxt 视频图像的读入 video_data_layer 网络测试 网络结构 prototxt 先来看看prototxt网络配置，以光流的为例，prototxt核心部分如下，这里只摘取了，数据输入层和...
Bag of Tricks and A Strong Baseline for Deep Person Re-identification
03-31
To address this problem, researchers have proposed various deep learning models that can learn discriminative features for person re-identification. However, achieving state-of-the-art performance ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值