Transformer-based Object Re-Identification论文解读

最新推荐文章于 2024-08-22 09:34:00 发布
最新推荐文章于 2024-08-22 09:34:00 发布
阅读量812 收藏 4
点赞数 5
分类专栏： transformer ReID 文章标签： 深度学习 python 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sdsfddfw/article/details/117395903
版权
TransReID论文提出了一种基于Transformer的行人重识别框架，克服了CNN对全局信息捕捉的局限性。通过引入JPM模块增强局部特征学习，SIE模块融合非视觉信息，提高跨相机匹配准确性。实验结果显示，TransReID在多个数据集上表现出优越性能。
摘要由CSDN通过智能技术生成

TransReID Transformer-based Object Re-Identification论文解读

这篇论文是2021年2月由浙大罗浩团队和阿里共同发表的文章，该文章首次将transformer应用于行人重识别领域。
论文地址：https://arxiv.org/pdf/2102.04378v2.pdf

目录

Movitation and Contribution

CNN的缺点

1、对于reid任务，重要的是能够在全局域上提取行人结构信息等，由于感受野的限制，CNN只能关注局部信息，而加上attention机制不能从本质改变，如下图的 figure1；
2、其次是一些细粒度(fine-grained)的细节信息对reid任务很重要，而CNN在经过一层卷积和池化后feature map的分辨率降低，丢失了很多细节信息，如下图的 figure 2。
Alt
alt

transformer的好处

1、多头注意力机制(multi-head attention)可以让网络关注于整个行人的身体；
2、没有卷积和下采样，不会丢失细节信息。

Contributions

1、提供一个transReID网络；
2、加了一个JPM结构（jigsaw patches module），对patch进行重新排列，能提取全局不变性的特征；
3、加了一个SIE结构（side information embeddings），合并非视觉信息，消除不同相机间的匹配差异。

Related work

1、绝大多数CNN是基于resnet网络；两个loss：ID loss和triplet loss；针对loss的改进，如增加BNNet；或circle loss等。
2、细粒度特征的提取。主要方法是针对图像水平切割成条纹或语义上的解析(例如关键点估计等)。
3、额外信息的补充。针对不同相机拍摄行人造成的光线、分辨率、姿态等信息不同，利用额外信息，如相机ID、角度信息、定位信息等，以及基于相机的BN层。
4、列举一些视觉领域上的transformer网络，VIT,IPT,DEIT等。

Framework of TransReID

基于transformer的baseline framework


总体上继承了ViT的结构，只是最后输出上有所改变。（ViT是2020年提出来的用于分类的一个transformer-based baseline，已收录于2021ICLR，链接：https://arxiv.org/pdf/2010.11929v1.pdf）

在这里插入图片描述
Z0是transformer的输入。Cls是新增加的一个分类embedding，F是一个线性变换，将输入的patch变到D维度，P是每个patch的一个位置信息，维度是(N+1,D)，加1是类别信息。

与ViT等网络的联系和区别：
1、输入的patch有overlap。滑窗选取，滑窗步长为S，P为patch大小，NH、NW是高宽上的patch个数。个数向下取整，S越小patch越多，计算量也越大。
在这里插入图片描述
2、和vit一样加入可学习的定位embedding。
3、采用有监督学习，两个loss的设置：ID loss用交叉熵函数实现；triplet loss改写为下面这种形式，相当于把值给缩小到一个范围，防止收敛不稳定。
在这里插入图片描述

TransReID framework

在baseline framework改进后的结构图如下
在这里插入图片描述

JPM 模块

1、动机：如果存在有遮挡或未对齐的行人图像，需要学习行人局部的细粒度信息。CNN中常用striped feature方法，JPM是将最后一层的输入打乱顺序，然后分组，这样能增强学习行人局部不变性特征的能力。

2、具体如下：
一、选前m个和后N-m个进行位置调换；
二、将所有patch随机分成k个组。

最后的损失=未打乱顺序的+打乱顺序的每一组的

推理阶段，把最后一层输出的局部和全局特征整合连接作为最后的feature。只用全局的特征，性能只稍微差一点。

损失函数如下：
在这里插入图片描述

SIE 模块

1、动机：处理一些非视觉信息，如拍摄相机、角度的不同带来的影响。启发：位置信息(2维)的编码。
2、方法：采用1维编码方式，把每个相机和角度进行标号，分别得到Sc和Sv，维度为(r,D)，r是相机个数或角度个数。一张图对应输入是一个1xD的编码。对于一张图的所有patch，Sc,Sv都是相同的标号值。同时为了更好融合两个信息，采用S(c,v)，维度是(Nc*Nv,D)。

此外，这里SIE用的是分类信息如(1,0,0,0,…)，也可以加入数值信息。

因此最终的输入有两部分，Z0是上面的原始输入，后面那部分是相机标号信息和角度信息
在这里插入图片描述

实验

1、实验所用数据集
在这里插入图片描述

2、transReID和其他方法的对比实验结果
在这里插入图片描述

murphys_law_dj
关注
专栏目录
TransReID: Transformer-based Object Re-Identification
qq_40631047的博客
05-08 1858
文章目录 摘要 文章主要内容 总结 摘要 提取鲁棒的特征对于reid是十分重要的。卷积神经网络一次只能处理一个局部相邻的区域，并且使用池化、基于步长的卷积会造成信息的丢失。 作者提出了完全基于transformer结构的reid模型叫做 TransReID。 作者设计两个novel的module：（1）jigsaw patch module (JPM)（2）side information embeddings (SIE) 在行人和车辆上都取得了sota的效果。 gith...
【论文阅读】TransReID: Transformer-based Object Re-Identification
weixin_43169773的博客
12-28 2746
论文代码链接论文原文链接 摘要 目标重识别的关键就是提取鲁棒的特征！ 之前方法的弊端：卷积神经网络(CNN)的方法一次只处理一个局部邻域，并且由于卷积和下采样算子(如池化和跨卷积)导致细节信息丢失。 提出：纯基于transformer的目标ReID框架。 具体来说：我们首先将图像编码为一系列补丁，并通过一些关键改进构建基于transformer的强baseline，这在使用基于cnn的方法的几个ReID基准上取得了有竞争力的结果。为了进一步增强transformer背景下特征学习，设计了两个新的.
TransReID：基于Transformer的目标重识别开源项目推荐
最新发布
gitblog_00408的博客
08-22 358
TransReID：基于Transformer的目标重识别开源项目推荐 TransReID[ICCV-2021] TransReID: Transformer-based Object Re-Identification项目地址:https://gitcode.com/gh_mirrors/tr/TransReID 项目介绍 TransReID是一个基于Transformer的目标重识别（Re-...
TransReID: Transformer-based Object Re-Identification 介绍
Lei的博客
04-08 1182
这是首篇开源的将transformer用于行人重识别的文章，基于原来的bag of tricks (BoT)1。 文章标题：TransReID: Transformer-based Object Re-Identification 论文地址：https://arxiv.org/abs/2102.04378 代码地址：TransReID 安利小技巧：把链接github.com变为github1s.com试试，就是github后面加个1s(1秒)。 1 简介   这是首篇使用视觉Transformer (V.
论文TransReID: Transformer-based Object Re-Identification
pumpkin_girl的博客
06-22 587
论文学习TransReID: Transformer-based Object Re-Identification（2021ICCV），侧重于方法及实现，结合代码进行介绍
【论文笔记】TransReID: Transformer-based Object Re-Identification
m0_51358406的博客
12-26 2640
TransReID 论文地址：https://arxiv.org/abs/2102.04378 代码：https://github.com/damo-cv/TransReID 这篇笔记是按照自己本人的习惯写的（一些词语喜欢用英语表示）；在看这篇论文之前，最好了解下ViT。感谢指教:) 论文阅读 Abstract one of the key challenges in ReID:Extracting robust feature representation. CNN：（缺点）一次只处理一个局部邻域，由于卷
transreid: transformer-based object re-identification
03-16
transreid是一种基于transformer的目标重新识别技术。它使用transformer模型来学习目标之间的相似性，并将其应用于重新识别任务中。这种方法可以在不同场景下实现目标的准确识别，具有很高的应用价值。
你知道2021-ICCV_TRANSREID_TRANSFORMER-BASED-OBJECT-RE-IDENTIFICATION这篇文章嘛
02-17
是的，作为一名大型语言模型，我对很多计算机科学领域的论文都有一定的了解，包括2021-ICCV_TRANSREID_TRANSFORMER-BASED-OBJECT-RE-IDENTIFICATION这篇文章。这是一篇关于基于Transformer的目标再识别方法的论文，...
TransReID: Transformer-based Object Re-Identification—一篇媲美CNN学习框架
JJxiao520的博客
02-26 1054
基于Transformer框架的行人重识别，衍生了新的研究方法
论文阅读（一）TransReID: Transformer-based Object Re-Identification
sinat_61870475的博客
12-02 1124
Transreid论文解读，CNN由于感受野有限，缺乏长距离依赖，引入attention机制并没有解决长距离依赖问题，基于attention的方法倾向于关注大的连续的区域，很难提取多个有判别力的部分。CNN中下采样操作（如strided convolution和池化）会降低特征图分辨率，可能会丢失有用的细节信息。
论文笔记31 -- （ReID）【ICCV2021】TransReID: Transformer-based Object Re-Identification
对角巷
09-01 2534
ICCV 2021，首个将Transformer用于Re-ID的工作 TransReID在行人和车辆重识别任务上均表现SOTA！ 论文：点这里 代码：点这里 Shuting He，Hao Luo， Pichao Wang， Fan Wang， Hao Li， Wei Jiang Alibaba Group， Zhejiang University ICCV 2021 Abstract 提取鲁棒的特征表示是目标重新识别（ReID）的关键挑战之一。虽然基于卷积神经网络（CNN）的方法取得了巨大的成功，但它们
论文阅读：ICCV2021 TransReID: Transformer-based Object Re-Identifification
张齐贤的博客
12-25 6339
ICCV2021 TransReid
TransReID: Transformer-based Object Re-Identification论文笔记
weixin_43974261的博客
10-13 553
Abstract 做的两件事： 提出jigsaw patch module (JPM) ，有助于更鲁棒特征表达的学习； 提出side information embeddings (SIE)，通过插入可学习的嵌入来合并这些非视觉线索，从而减少对相机/视图变化的特征偏差。 是第一个使用纯transformer的工作。 Introduction 回顾CNN方法发现了两个问题。 1.在全局范围内利用这些丰富的结构模式对于ReID至关重要。但由于有效感受野的高斯分布，基于CNN的方法主要集中在小的辨别区域。 2
(ICCV-2021)TransReID：基于transformer的目标重识别
顾道长生的科研笔记
07-21 3221
提取稳健的特征表示是目标重识别（ReID）的关键挑战之一。尽管基于卷积神经网络（CNN）的方法已经取得了巨大的成功，但它们一次只能处理一个局部邻域，并受到卷积和下采样操作（如池化和分层卷积）造成的细节信息损失的影响。为了克服这些限制，我们提出了一个纯粹的基于transformer的目标识别框架，名为TransReID。具体来说，我们首先将图像编码为一个patch序列，并通过一些关键的改进建立一个基于transformer的强基线，在几个ReID基准上取得了与基于CNN的方法相竞争的结果。链接。...
CVPR2020 Person Re-identification论文合集
weixin_43994864的博客
06-12 1576
在接收的1400多篇论文中，我整理出24篇person reid方向论文，并附带论文下载链接，已经公布代码的论文链接也展示出来，还有没有公布代码的，后期陆续补充。 AD-Cluster - Augmented Discriminative Clustering for Domain Adaptive Person Re-Identification Camera On-Boarding for Person Re-Identification Using Hypothesis Transfer Learn
Video Object Segementation with Re-identification(VS-ReID)
sinat_32823605的博客
04-26 793
Video Object Segementation with Re-identification(VS-ReID) 一般的视频分割都是通过temporal continuity去传播掩码，但是对于一些漂移和大的移位问题导致目标丢失，不能解决。为了解决这类问题，这篇文章制定了一个自适应对象重新识别（VS-REID）机制来防止目标丢失。 整个模型中包括两部分：掩码传播模块和REID模块 前一模块是有...
论文解读：Video Object Segmentation with Joint Re-identification and Attention-Aware Mask Propagation
Jingyang.Zhang的博客
09-24 1180
Motivation Template Matching-based Methods (e.g. One-shot learning for video object segmentation 没有使用时序信息)：考虑模板，比如视频中的第一帧中的mask，然后对后续帧进行匹配。但是这些方法受限于CNN分割模型的性能，不能处理具有大尺度形变和视角变化的物体。 Temporal Propagat...
[ICCV2021] TransReID: Transformer-based Object Re-Identification 行人重识别
热门推荐
学生的博客
05-05 1万+
@[TOC]([ICCV2021] TransReID: Transformer-based Object Re-Identification) 论文：https://arxiv.org/pdf/2102.04378.pdf Code：heshuting555/TransReID 在ReID任务中，CNN虽然效果很好，但是依然存在缺陷：一是只能在小范围内进行操作，即不能解决长距离依赖问题；另外一点是CNN中的卷积和下采样算子会使信息迅速丢失。.........
TransReID代码运行
07-27
你想要了解关于 TransReID 代码的运行。很抱歉，我无法提供相关代码的具体运行步骤，因为我无法确定你指的是哪个具体的 TransReID 代码。 TransReID 是一个用于行人重识别（Person Re-identification）的模型，它基于 Transformer 架构和注意力机制。如果你想运行 TransReID 的代码，首先需要确保你已经安装了所需的依赖库和环境配置。常见的行人重识别代码库包括 reid-strong-baseline、fastreid、open-reid 等。 一般情况下，运行 TransReID 的代码需要以下步骤： 1. 下载或克隆 TransReID 代码库。 2. 准备数据集：通常需要一个包含行人图像和对应标签（身份 ID）的数据集。你可以下载一些公开的数据集，如 Market-1501、DukeMTMC-reID 等。 3. 配置代码：根据你的需求，修改代码中的配置文件，如数据集路径、模型超参数等。 4. 训练模型：运行代码进行模型训练。训练过程中会进行图像预处理、特征提取、损失计算等操作。 5. 模型测试：使用训练好的模型对测试集进行验证或测试。测试过程主要包括特征提取、特征匹配、计算评估指标等操作。 6. 可选的后处理：根据需要，你可以对模型的输出进行后处理，如使用聚类算法进行行人重识别结果的进一步优化。 请注意，具体的代码运行步骤可能因代码库的不同而有所差异。如果你有具体的 TransReID 代码库或问题，建议查阅相关文档或代码库的 GitHub 页面，那里通常提供了详细的使用说明和示例代码。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值