论文阅读：Joint Learning of Single-image and Cross-image Representations for Person Re-identification

最新推荐文章于 2024-01-08 22:22:54 发布
原创 最新推荐文章于 2024-01-08 22:22:54 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

哈尔滨工业大学的研究者提出一种结合pairwise comparison与triplet comparison的方法用于特征学习，并通过实验验证了该方法的有效性。该研究关注于SIR与CIR两种表征方式，并在多个数据集上进行了对比实验。

哈尔滨工业大学（/香港理工大学）的作者Faqiang Wang等采用pairwise comparison and triplet comparison联合学习特征，并在CUHK03，CUHK03，VIPeR上进行实验。

网络结构：
这里写图片描述

这里写图片描述

文章分析了SIR(single image representation) 是CIR(cross image representation)的特殊形式。（欧式距离，马氏距离，联合贝叶斯，LDFA）

论文阅读《Joint Learning of Single-image Cross-image Representations for Person Re-identification》
RaymondWong的博客
04-15 2724
文章尝试分析SIR和CIR之间的关系以及如何通过融合两种方法来综合效率（efficiency）和准确度（effectiveness）
泛读论文：Person-reID 行人重识别合集
热门推荐
汪汪汪的博客
03-19 1万+
2017CVPR、ICCV和NIPS在Person Reidentification方向的相关工作小结 基于融合特征的行人再识别方法 模式识别与人工智能 2017.3 问题 目前常用的行人再识别方法主要集中在行人外形特征的描述和同一行人对应的 2 幅图像之间距离的学习度量．由于行人图像的亮度和相机角度的变化等，提取行人的外形特征的不变性较难，因此在各个图像库上行人再识别的识别率较低 ...
Joint Learning of Single-image and Cross-image Representations for Person Re-identification
xufengchi的博客
10-29 933
人物识别可以用两种方法解决： （1）在单个图片上做识别，给出一个阈值，计算距离相似性，判断两张图片是否匹配。 （2）在多张图片上做分类，可以考虑为二分类的问题。由于两种方法各有优点，在这篇文章中，作者采用两种方法的结合，并特出一种基于卷积神经网络的联合学习模型统一SIR和CIR。在学习SIR与CIR的关系是，我们发现在CIR上的分类是基于SIR的一些常见的相似性度量的泛化。我们的网络包含3个子网
行人再识别：Joint Learning of Single-image and Cross-image Representations for Person Re-identification
Shawn
09-04 1365
摘要 行人再识别问题一般有两种解决思路，一种是对单张图像的特征进行匹配(SIR, single-image represention)，另一种是对交叉图像特征进行二分类处理(CIR,cross-image representation)。在本文中，我们对两种方式之间的联系进行了探索，并借助CNN提出了一种联合两种方式的学习框架。 对于上述的两种方式，第一种是通过比较两张图像特征之间的距离与阈值...
[Paper note] Joint Learning of Single-image and Cross-image Representations for Person Re-id.
chn13的博客
10-14 561
paper note for joint SIR, CIR learning for persion re-id
1607.CVPR-Joint Learning of Single-image and Cross-image Representations for Person ReID 论文笔记
xuluohongshang的博客
01-01 753
作者将reid任务按照最终测度方法的不同，分成了两类：即按照距离loss训练方法的SIR（single-image representation）和按照对比loss训练网络的CIR（cross-image representation），作者提出了一种卷积神经网络框架，可以将两类方法整合到一个框架里，进行联合训练，最终以得分和阈值设置的形式应用训练好的模型。这样可以提升匹配率的直觉上的原因： SI
CCF A类会议或期刊----近两年对比学习相关论文
Thincor的博客
03-20 6022
会议/期刊 论文 sigmod2021 Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals. neurips2020 Adversarial Self-Supervised Contrastive Learning. neurips2020 Demystifying Contrastive Self-Supervised Learning: Invariances, Augme....
ICCV 2021| 90篇生成对抗GAN论文梳理汇总（清单版）
idol24的博客
04-21 1214
戳我，查看GAN的系列专辑~！在最新的ICCV 2021会议中，涌现出大量基于生成对抗网络GAN的论文，广泛应用于各类视觉任务；本文在此做尽可能的梳理汇总！下述论文已分类打包好！公众号后台回复ICCV（长按红字、选中复制）获取分类、按文件夹汇总好的论文集，gan起来吧！！！一、GAN改进二、图像编辑-基于StyleGAN三、图像编辑-逆映射四、图像编辑-人脸五、图像...
科研篇(12)：CVPR20 分类整理-对抗样本
weixin_38316806的博客
07-28 1824
文章目录一、对抗样本-附代码1.1Towards Large yet Imperceptible Adversarial Image Perturbations with Perceptual Color Distance.1.2 One Man's Trash Is Another Man's Treasure: Resisting Adversarial Examples by Adversarial Examples1.3 ColorFool: Semantic Adversarial Coloriz
AttSum: Joint Learning of Focusing and Summarization with...
weixin_33794672的博客
08-01 212
引 最近读的几篇paper都是用seq2seq的思路来解决问题，有点读厌烦了，今天换个口味。分享一篇extractive式的paper，AttSum: Joint Learning of Focusing and Summarization with Neural Attention，AttSum是本文所阐述的摘要系统的名称。 (点“阅读原文”获取本文)...
Joint Learning
06-18
Joint Learning Neuronal Skeleton and Brain Circuit Topology with Permutation Invariant Encoders for Neuron Classification
joint learning
Hello Word!
06-01 805
用途：domain差别较大的数据集之前联合训练的方法 方法：同一个backbone，不同的classifier。大的数据集训练n 个batch，小的数据集训练1个batch lr steps的确定：根据实现而不同。一种是将两种数据集中的样本数量加总之后计算总的数据量，然后根据 10,20,30个epoch去就计算lr每次下降所需的训练steps个数 Loss nan的问题： ...
ReID论文笔记1-Deeply-Learned Part-Aligned Representations for Person Re-Identification
Lindsey_Tai的博客
09-12 1015
论文地址： https://arxiv.org/abs/1707.07256 源码地址： https://github.com/zlmzju/part_reid 总述 part-aligned human representation 解决图片对应位置人体不对准问题 对姿势改变更鲁棒，不需要人体部分的标记，不需要训练人体检测器或者分割器 使用相似度信息，学习人体匹配，未使用LSTM ...
Joint Learning of QA and QG阅读笔记
Sofan He
01-16 953
SCIR “Joint Learning of Question Answering and Question Generation” 阅读笔记
[论文阅读] Joint learning of foreground, background and edge for salient object detection
xiongxyowo的博客
01-08 979
尽管在显著性检测方面取得了重大进展，但当场景复杂时，特别是当显着性和非显着性区域相似或显着性对象具有复杂的轮廓时，预测显着性仍然具有挑战性。 以前的先进方法很少探索图像背景下的学习。事实上，图像的背景和前景包含互补信息。 在这项工作中，我们建议将显着性检测任务分解为三个子任务：前景感知、背景抑制和边缘细化。更具体地说，我们的解码器由三个分支组成：前景感知分支、背景抑制分支和边缘细化分支。每个分支的目标是学习特定的特征来进行预测。同时，我们设计了具有可控调节因子的区域焦点损失函数来监督训练阶段每个分支的学习。
论文笔记Joint Learning of Answer Selection and Answer Summary Generation in Community Question Answering
Herbe_chanceux的博客
09-26 1095
目前，社区问答（CQA）在学术界和工业界都备受欢迎。但是也存在问题：答案繁多、冗长，导致其在选择上给社区用户带来了很大的不便。为了解决这些问题，针对CQA特定任务的答案选择和生成答案摘要两大任务，本文提出了一种新的联合学习模型。具体来说，设计了一种问题驱动的指针生成器网络，该网络旨在利用问题答案对之间的相关信息来生成答案摘要。同时，在进行问题答案对相关性排序时，利用答案摘要去除原有答案中的噪声。
《Joint Learning of Named Entity Recognition and Entity Linking》论文笔记
solejay
10-06 1031
Joint Learning of Named Entity Recognition and Entity Linking 2019 ACL Abstract 大多数 EL 方法忽视实体识别部分，假定正确的实体已经被识别出来。这篇论文对 NER 和 EL 进行联合学习，来利用他们之间的相关性，得到一个更健壮和更具通用性的系统。实验发现联合学习比单个学习效果更好，并且在 NER 和 EL 任务达到 SOTA。 1 Introduction NER 和 EL 是两个基础的 NLP 任务，NER 负责检测和识别命
Joint Learning Architecture for Multiple Object Tracking and Trajectory Forecasting 详细解读
Juwenile的博客
02-24 434
以FairMOT跟踪器为基准，将轨迹预测添加到多目标跟踪中以代替卡尔曼滤波器来进行运动预测。
弱监督论文简读：Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation
LYX的博客
03-05 1444
结论 在提取器的基础上，后加简单的网络结构即可让网络学习到想学习的目标，说明我们对网络学习能力的了解还不够深入，重点在于如何给定网络一个特定的学习目标。对于弱监督，找两个可交互迭代提升的任务尤为重要。 ...
VLTSeg: Simple Transfer of CLIP-Based Vision-Language Representations for Domain Generalized Semantic Segmentation
最新发布
08-06
### VLTSeg 方法及其在领域自适应语义分割中的应用 VLTSeg（Vision-Language Transfer Segmentation）是一种基于 CLIP（Contrastive Language–Image Pretraining）的视觉-语言模型，专门用于领域自适应语义分割任务。该方法利用了 CLIP 的强大跨模态表示能力，通过结合视觉和语言信息来提升模型在未见领域上的泛化能力。 在领域自适应语义分割中，目标是将源领域（带有标注数据）上训练的模型有效地迁移到目标领域（无标注或部分标注数据）上，而无需重新标注目标领域的数据。VLTSeg 的核心思想是利用 CLIP 模型生成的文本嵌入作为语义先验，以增强模型对目标领域中未见类别的识别能力。具体来说，该方法通过以下步骤实现： 1. **文本嵌入生成**：使用 CLIP 的文本编码器为每个类别生成对应的文本嵌入。这些嵌入捕捉了类别的语义信息，并且可以在不同领域之间保持一致性。 2. **视觉-语言对齐**：在训练过程中，将图像中的每个像素与对应的文本嵌入进行对齐。这种对齐过程通过对比学习实现，使得模型能够学习到跨模态的语义关联。 3. **领域自适应策略**：为了应对领域差异，VLTSeg 引入了领域自适应策略，例如通过对抗训练或特征对齐技术，减少源领域和目标领域之间的分布差异。 4. **推理阶段**：在推理阶段，模型利用 CLIP 的文本编码器生成的文本嵌入作为查询，对输入图像进行分割。这种方法使得模型能够处理目标领域中未见的类别，因为它依赖于文本嵌入的语义信息，而不是仅依赖于源领域的标注数据。 VLTSeg 的优势在于其能够利用 CLIP 的强大语义表示能力，从而在领域自适应任务中表现出色。特别是在目标领域中存在未见类别的情况下，该方法通过结合语言信息显著提升了模型的泛化能力。 ### 代码示例 以下是一个简化的 VLTSeg 方法的伪代码示例，展示了如何利用 CLIP 进行视觉-语言对齐： ```python import clip import torch from torchvision import transforms # 加载预训练的 CLIP 模型 device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) # 定义类别名称 class_names = ["road", "building", "sky", "person", "car"] # 生成文本嵌入 text_inputs = clip.tokenize([f"a photo of a {class_name}" for class_name in class_names]).to(device) with torch.no_grad(): text_features = model.encode_text(text_inputs) text_features /= text_features.norm(dim=-1, keepdim=True) # 图像预处理 image_transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.48145466, 0.4578275, 0.40821073), (0.26862954, 0.26130258, 0.27577711)), ]) # 加载图像并生成图像特征 image = image_transform(preprocess(Image.open("example.jpg"))).unsqueeze(0).to(device) with torch.no_grad(): image_features = model.encode_image(image) image_features /= image_features.norm(dim=-1, keepdim=True) # 计算相似度并进行分割 similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1) segmentation_mask = similarity.argmax(dim=-1) ``` ### 相关问题 1. 如何在实际应用中优化 VLTSeg 的领域自适应性能？ 2. CLIP 模型在视觉-语言任务中的局限性是什么？ 3. 领域自适应语义分割中还有哪些其他方法可以与 VLTSeg 进行比较？ 4. 如何评估 VLTSeg 在未见领域上的泛化能力？ 5. 在 VLTSeg 中，如何选择合适的文本嵌入生成策略？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值