跨模态行人重识别-阅读笔记1《HPILN: A feature learning framework for cross modality person re-identification》

最新推荐文章于 2024-08-26 23:04:46 发布
最新推荐文章于 2024-08-26 23:04:46 发布
阅读量2.6k 收藏 17
点赞数 3
分类专栏： Re-ID 论文笔记 文章标签： HPILN 跨模态行人重识别 cross-modality reid 行人重识别 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34374211/article/details/103819059
版权
本文介绍了HPILN，一种针对跨模态行人重识别问题的端到端特征学习框架。该框架在SYSU-MM01数据集上表现出高精度，首次尝试将RGB-RGB Re-ID神经网络应用到RGB-IR任务，通过hard pentaplet loss处理模态差异。实验表明，结合identity loss，HPILN能有效提升识别准确性。
摘要由CSDN通过智能技术生成

 

一.HPILN论文链接

链接1：（最终版已录用）

链接2：（arxiv非最终版）

二.跨模态行人重识别简介


现有的行人重识别研究大部分集中于RGB图像的研究，然而RGB摄像头在黑暗处不能获取清晰图像，现有的摄像头往往集成了RGB摄像头和红外摄像头(IR Camera)的功能于一身，在黑暗处使用红外摄像头获取图像。存在这种情况：嫌疑人在黑暗与亮光处穿行，从而被RGB摄像头和红外摄像头拍摄到，则产生这样的需求：需要判断RGB摄像头拍摄到的行人和红外摄像头拍摄到的行人是否是同一人。2017年，郑伟诗团队公开了首个跨模态行人重识别数据集（SYSU-MM01），以及对应的benchmark。

RGB-IR ReID领域，两年来出现了许多优秀的论文：

  • zero-padding:《
最低0.47元/天 解锁文章
麻瓜藤之父
关注
专栏目录
跨模态行人重识别：Cross-Modality Person Re-Identification with Generative Adversarial Training 学习记录笔记
weixin_43898295的博客
04-19 909
目录 摘要 方法 cmGAN Generator Discriminator Training Algorithm Experiments 摘要 （1）提出一种新的跨模态生成对抗网络（称为cmGAN）。为了解决鉴别信息不足的问题，设计了一种基于生成对抗训练的鉴别器，从不同的模式中学习鉴别特征表示。 （2）为了解决大规模跨模态度量学习问题，将id损失和跨模态三元组损失结合起来，在最大化实例间跨模态相似性的同时最小化类间歧义。通过使用标准的深度神经网络框架，可以以端到端的方式对整个c..
跨模态行人重识别：Visible-Infrared Person Re-Identification viaHomogeneous Augmented Tri-Modal Learning学习记录笔记
weixin_43898295的博客
09-22 1073
将RGB模态单独处理得到一个灰度模态，灰度模态作为辅助模态有利于增加RGB和红外模态的关联性，HHI loss 缩小了三个模态之间的距离，reg loss进一步减小了交叉模态之间的变化。
2019 IET之ReID：HPILN: a feature learning framework for cross-modality person re-identification
makabaka的博客
02-14 1237
HPILN: a feature learning framework for cross-modality person re-identification 当前的问题及概述： 提出了一种新的特征学习框架：hard pentaplet loss和identity loss network (HPILN),(HPILN)。在该框架中，对现有的单模态再识别模型进行了修正以适应交叉模态场景，并采用专门...
图文跨模态检索研究综述
最新发布
zenRRan的博客
08-26 274
作者：张振兴，王亚雄来源：《北京交通大学学报》编辑：陈萍萍的公主@一点人工一点智能原文：https://jdxb.bjtu.edu.cn/CN/10.11860/j.issn.1673-0291.20230126摘要：图文跨模态检索作为跨模态计算研究的一个核心课题，一直受到学术界和工业界的高度重视。在过去的几十年里，随着深度学习技术的发展，特别是深度神经网络、Transformer架构以及图文对比...
论文阅读23 | A feature learning framework for cross-modality person re-identification
滨哥v5的博客
07-13 481
五元组损失
跨模态行人重识别
滨哥v5的博客
03-24 1170
跨模态行人重识别交流群 qq739225302 欢迎加入一起探讨交流
跨模态行人重识别：Cross-Modality Person Re-Identification viaModality-Aware CollaborativeEnsemble Learning学习笔记
weixin_43898295的博客
11-04 768
两种不同的模态学习两组特定于模态的同一性分类器(θv用于可见模态，θt用于热模态） 给定可见光模态的模态特性分类器θv表示，输入可见光图像xv i的输出logs相应地由zv计算，用softmax函数计算可见光样本xv i被正确识别为模态I的概率PV（Yi xv i）。在教师集成模型的激励下，采用不同分类器输出的集成，为每批中的n个恒等式生成一个增强的教师模型。特定于模态的身份分类器与可共享模态的身份分类器θ0共享相同的结构，但它们分别进行了优化，以在分类器级别捕获不同的特定于模态的信息。
跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification学习记录笔记
weixin_43898295的博客
04-12 3358
原文链接：https://www.sciencedirect.com/science/article/pii/S0925231219318156 目录 摘要 方法 CE loss Hetero-Center Loss Two-Stream Local Feature Network 特征提取 特征嵌入 试验 测试 结果 摘要 （1）提出了一种新的损失函数，称为 Hetero-Center loss (HC loss)，以减少类内跨模态变化，通过约束两个异质模态之间的
跨模态行人重识别：RGB-Infrared Cross-Modality Person Re-Identification 学习记录笔记
weixin_43898295的博客
03-16 6556
目录 原文链接 摘要: 1 介绍 1.1 数据集： 1.2 贡献 1.3 评估 2 网络结构比较 2.1 One-stream Structure 2.2 Two-stream Structure 2.3 Asymmetric FC layer structur 3 网络结构 3.1 单流和双流结构的连接 3.2 单流结构 3.3 备注 4深度零填充 4.1 网络输入分析 4.2RGB-IR深度零填充 5 实验 5.1 模型比较 5.2模型分析 原...
跨模态行人重识别：Towards a Unified Middle Modality Learning forVisible-Infrared Person Re-Identification阅读笔记
weixin_43898295的博客
07-06 1796
目录摘要​方法 结果 论文链接 提出了一种非线性中间模态生成器（MMG），它有助于减少模态差异。MMG 可以有效地将 VIS 和 IR 图像投影到统一的中间模态图像 (UMMI) 空间中，以生成中间模态 (M-modality) 图像。生成的 M 模态图像和原始图像被馈送到主干网络以减少模态差异。为了将 UMMI 空间中从 VIS 和 IR 图像生成的两种类型的 M 模态图像拉在一起，提出了一个分布一致性损失 (DCL)，以使生成的 M 模态图像的模态分布一致尽可能。最后提出了一个中间模
RegDB数据集-跨模态行人重识别
02-16
跨模态行人重识别数据集，可见光和红外图像常用数据集
20.AAAI-X-modality.pdf
04-26
2020 AAAI之ReID：Infrared-Visible Cross-Modal Person Re-Identification with an X Modality
【2020-04-06更新】跨模态行人再识别汇总
一个致力“使己成为人”的专栏
09-10 5348
Dataset RegDB SYSU-MM01 Rank-1(%) mAP(%) Rank-1(%) mAP(%) Deep Zero-Padding(ICCV2017) – – 14.80 15.95 HCML(AAAI2018) 24.44 20.80 – – cmGAN(IJCAI2018) – – 26.97 27.80 BDTR(IJCAI2018)...
2018 IJCAI之ReID：Cross-Modality Person Re-Identification with Generative Adversarial Training
makabaka的博客
01-30 936
Cross-Modality Person Re-Identification with Generative Adversarial Training 目前的问题： 当前，面对这种跨模态问题，主要有两个困难： 1.RGB和红外模式之间缺乏识别同一人的区别信息 2.很难为这种大规模的交叉模式检索学习稳健的度量 为了解决识别信息不足的问题，本文设计了一种基于前沿生成对抗训练的鉴别器来学习不同模式下的...
Cross-Modality Person Re-Identification with Generative Adversarial Training
weixin_42881607的博客
07-01 1470
paper 摘要 行人重识别是视频监控系统中的一项重要任务，它可以自动搜索和识别不同摄像机上的人。尽管在RGB相机中已经取得了广泛的REID进展，但研究红外图像和RGB图像之间的REID的工作却很少，这本质上是一个交叉模态问题，在现实场景中广泛遇到。关键的挑战在于两个方面，即缺乏识别信息来在RGB和红外成像设备之间重新识别同一个人，以及难以学习这种大规模交叉成像设备检索的强大指标。在本文中，我们通...
跨模态行人重识别：Discover Cross-Modality Nuances for Visible-Infrared Person Re-Identification学习记录笔记
weixin_43898295的博客
05-17 2006
摘要 提出了一种联合模态和模式对齐网络 (MPANet) 来发现可见红外人 Re-ID 不同模式中的跨模态细微差别，它引入了模态缓解模块和模式对齐模块来共同提取判别特征。模态缓解模块以从提取的特征图中去除模态信息。 然后设计了一个模式对齐模块，它为一个人的不同模式生成多个模式图，以发现细微差别。 最后引入了一种相互均值学习方式来缓解模态差异，并提出了一个中心聚类损失来指导身份学习和细微差别发现。 贡献： 为了发现细微差别并提取判别性特征，提出了模式对齐模块 (PAM)，以无监督方式发现...
跨模态行人重识别：Modality Synergy Complement Learning withCascaded Aggregation for Visible-InfraredPerson 笔记
weixin_43898295的博客
10-20 1380
基于级联聚合的模态协同互补学习在可见光-红外人员识别中的应用级联聚合的模态协同互补学习网络(MSCLNET)。基本思想是协同两个模态来不同的身份鉴别语义和较少噪声的表示。然后，在这两种模式的优点下对协同表征进行了补充。此外，提出了级联聚合策略，用于，该策略将子类、类内和类间的特征嵌入进行渐进聚合。传统的硬样本挖掘和特征聚合方法在实例级优化特征嵌入距离。这种粗粒度度量学习忽略了所有实例的综合分布。我们的目标是以级联的方式在不同的层次上进行优化。
2020 AAAI之ReID：Attend to the Difference: Cross-Modality Person Re-identification via Contrastive
makabaka的博客
02-22 1464
Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation 当前的问题及概述： 本文针对人类在比较两个相似物体时通常会注意到它们之间的差异这一特点，提出了一种双路径交叉模态特征学习框架。 该框架由两个主要部分组成:Dual-path Spatial-structure-p...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值