行人重识别——表征学习与度量学习

最新推荐文章于 2025-02-13 16:10:46 发布
最新推荐文章于 2025-02-13 16:10:46 发布
阅读量4.3k 收藏 24
点赞数 7
分类专栏： 深度学习和行人重识别 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s123l4/article/details/106944012
版权

根据损失分类：表征学习和度量学习
表征学习：没有直接在训练网络的时候考虑图片间的相似度，而把行人重识别任务当做分类问题或者验证问题来看待
度量学习：通过网络学习出两张图片的相似度，在行人重识别问题上，表现为同一行人的不同图片间的相似度大于不同行人的不同图片

表征学习

分类损失&验证损失

分类损失又称id损失：利用行人的id作为训练标签来训练模型，每次只需要输入一张图片
验证损失：输入一对（两张）行人图片，让网络来学习这两张图片是否属于同一行人，等效于二分类问题
在这里插入图片描述
（IDE网络是Reid领域开始的一个，相当于hello world）
在这里插入图片描述
在这里插入图片描述

总结

  • 通过构造网络来直接得到鲁棒的Reid特征，不直接学习图片之间的相似性
  • 通常需要额外的FC层来辅助特征学习，测试阶段FC层会被丢弃
  • ID损失的FC层维度与ID数量一致，当训练集太大时网络巨大，训练很难收敛
  • 验证损失测试的时候需要输入一对图片，识别效率很低
  • 表征学习通常而言比较稳定，结果容易复现
  • 表征学习的分布式训练通常比较成熟

度量学习

定义

度量学习旨在学习两张图片的相似性
在这里插入图片描述
常用的度量学习损失方法：
对比损失(Contrastive loss)、三元组损失(Triplet loss)、 四元组损失(Quadruplet loss)、难样本采样三元组损失(Triplet hard loss with batch hard mining, TriHard loss)

对比损失

在这里插入图片描述

三元组损失

在这里插入图片描述
缺点:没有考虑距离的绝对值，不利目标跟踪

改进三元组损失

在损失函数中添加了一项锚点与正样本之间的距离值
在这里插入图片描述

四元组损失

在这里插入图片描述

难样本挖掘

传统的度量学习方法是随机采样组成元组样本，但是这样采集的样本通常是非常容易识别的样本，不利于训练表达能力强的Reid网络

难样本采样三元组损失（TriHard loss)

在这里插入图片描述

Triplet loss with adaptive weights

TriHard loss只考虑了极端样本的信息，造成局部梯度特别大，使得网络崩溃。
提出了一种自适应权重损失：对于正样本对，距离越大权值就越大；对于负样本对，距离越大权值就越小

总结

  • 通过构造网络来直接学习图片之间的相似性
  • 不需要额外的fc层来辅助特征学习
  • 网络大小与训练集规模无关，但是数据采样器时间消耗会增加
  • TriHard loss为目前业界度量学习的标杆
  • 度量学习通常而言训练比较随机，需要一定的训练经验
  • 度量学习的分布式训练不太成熟，通常需要自己实现部分代码
行人重识别-度量学习
qq_37747189的博客
11-12 3010
行人重识别-度量学习 前言 和前面介绍到的表征学习一样，度量学习也是基于全局特征学习的一种方法，且被广泛用于图像检索领域。不同于表征学习通过分类或者验证的方式，度量学习目的在于通过网络学习两张图片的相似度。在行人重识别问题上，表现为同一行人的不同图片之间的相似度远大于不同行人的不同图片。 定义 定义如下一个映射： 将图片从原始域映射到特征域（就是从真实图片提取特征的意思），之后再定义一个距离度量函数： 来计算两个特征之间的的距离。 注：这个距离度量函数并不唯一，只要是能够在特征空间描述特征向量的相似度的函数
表征学习与度量学习
weixin_44229976的博客
06-16 535
行人重识别表征学习和度量学习的区别是根据损失函数的不同而区分的。 表征学习的方法没有直接训练网络的时候考虑图片间的相似度，而把行人重识别任务当做分类问题或者验证问题来看待。 度量学习旨在通过网络学习出两张图片的相似度。在行人重识别问题上，表现为同一行人的不同图片间的相似度大于不同行人的不同图片。 ...
行人属性识别：从图像中提取行人特征
最新发布
reset2021的博客
02-13 633
行人属性识别（Pedestrian Attribute Recognition, PAR）是计算机视觉领域的一个重要任务，旨在从图像或视频中识别出行人的各种属性，如性别、年龄、衣着、携带物品等。本文将介绍行人属性识别的基本概念，并通过一个简单的代码示例展示如何使用深度学习模型来实现这一任务。本文介绍了行人属性识别的基本概念，并通过一个简单的代码示例展示了如何使用深度学习模型来实现这一任务。3. 属性分类：最后，基于提取的特征，使用分类器来预测行人的属性。：包含100,000张图像，标注了26种行人属性。
行人重识别-表征学习
qq_37747189的博客
11-08 3076
行人重识别（ReID）-表征学习 前言 在记录今天的内容前，先推一下罗浩老师的行人重识别的论文综述，这对于了解行人重识别领域是有很大帮助的，接下来的几篇博客呢，也是围绕这篇综述中的内容进行介绍的。 行人重识别-罗浩知乎专栏 顺便附上几个行人重识别的开源代码： https://github.com/zhunzhong07/IDE-baseline-Market-1501 https://github.com/KaiyangZhou/deep-person-reid https://github.com/hua
【ReID】表征学习和度量学习
博客
03-23 5153
表征学习和度量学习是行人重识别最基本的两种方法，目前几乎所有的行人重识别算法都是基于表征学习或度量学习进行拓展的。 表征学习 表征学习的方法没有直接在训练网络的时候考虑图片间的相似度, 而是把行人重识别任务当做分类问题或者验证问题来看待。 分类损失 分类损失又称ID损失：利用行人的ID作为训练标签来训练模型，每次只需要输入一张图片。（例如market1501有751个类别，那最后一层输出神经元就有751个，损失函数即定义为分类错误率） 只有ID损失的网络称为ID Embedding网络（IDE网络）。IDE
度量学习和表征学习
chen_znn的博客
07-17 1345
本文总结了度量学习和表征学习常用损失函数
行人重识别(3)——行人重识别（基于图像）综述
R.I.P Kobe Bryant
01-26 7267
介绍行人重识别（基于图像）方向的相关方法、研究热点与相关数据集。
行人重识别(4)——行人重识别（基于视频）综述
R.I.P Kobe Bryant
12-22 2562
介绍行人重识别（基于视频）方向的相关方法、研究热点与相关数据集。
行人重识别(16)——代码实践之模型训练（train_model(度量学习).py）
R.I.P Kobe Bryant
12-30 2059
介绍模型训练文件（train_model(度量学习).py）的作用、编写思路、python代码与训练过程。
Re-ID ——表征学习和度量学习
weiwei935707936的博客
07-21 3147
表征学习 将行人重识别问题作为分类问题和验证问题。 1.分类问题 分类标准：一般是多个结合起来的，即：ID损失+多个属性（如：颜色等）损失的均值 损失函数： 网络结构： 2.验证问题：输入两张图片来判断它们是不是同一张图片 具体：输入两张图片，经过同一个CNN,得到两个特征向量，将两个特征向量融合起来到FC层，最后输出只有两个神经元的FC,用以判断是否是同一行人。 损失函数：(...
行人重识别
06-08
行人重识别ppt，配合 基于行人重识别的深度嵌入鉴别特征学习
ReID基础 | 表征学习和度量学习
滨哥v5的博客
04-06 2065
ReID
表征学习、度量学习、核学习_表征学习入门
cumj63710的博客
06-27 843
表征学习、度量学习、核学习 尽管当今许多公司拥有大量数据，但是这些数据中的绝大多数通常都是非结构化和未标记的。 实际上，为特定业务需求适当标记的数据量通常非常小（可能甚至为零），并且获取新标记通常是一项缓慢而昂贵的工作。 结果，可以从未标记的数据中提取特征以提高数据受限任务的性能的算法非常有价值。 大多数机器学习从业者首先是通过无监督学习来接触特征提取技术的。 在无监督学习中，算法尝试发现在...
行人重识别 度量学习
weixin_43974261的博客
10-03 326
度量学习 首先将图片转化为特征空间，也就是特征提取。之后将两个特征向量用度量函数计算距离。通过度量函数的损失，来优化f（x）的参数，使得相同行人的距离尽可能小，不同行人尽可能大。 ...
ReID学习之表征学习
qq_39351946的博客
12-18 1943
文章目录前言一、ReID中的表征学习与度量学习二、表征学习-分类损失![在这里插入图片描述](https://img-blog.csdnimg.cn/0f083981c733439093327f35335659da.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6LSd5Yip5Lqa6buE5piP,size_20,color_FFFFFF,t_70,g_se,x_16)三、表征学习-验证损失总结
Face++ 论文解读：一种新的行人重识别度量学习方法 | PaperDaily #20
weixin_34080571的博客
11-28 232
Triplet loss 是一种非常常用的度量学习方法，Quadruplet loss 和 Triplet hard batch loss（TriHard loss）是它的两个改进版本，而 MSML 是吸收了 Quadruplet loss 和 TriHard loss 两个优点的综合体。 实验证明 MSML 能够在 person ReID 的公开数据集...
行人重识别初学（一）
u013517182的博客
09-18 548
主要是看b站一个链接上的视频，然后做了一些笔记，尝试对REID有一些理解 行人重识别系统 如下图所示 一般是由行人检测和行人重识别两个问题组成，这两个问题是学术界里面两个不同的研究方向， 比如行人检测可以用faster rcnn或者其他之类的检测框架 但是对于reid则是使用检测出来的行人的结果来做 所以实际上是两个不同的任务 重识别的方法 一般分为两种，一种是表征学习，一种是度量学习。表征...
什么是表征学习？
种花家的奋斗兔的博客
12-21 9271
在机器学习中，特征学习或表征学习[1]是学习一个特征的技术的集合：将原始数据转换成为能够被机器学习来有效开发的一种形式。它避免了手动提取特征的麻烦，允许计算机学习使用特征的同时，也学习如何提取特征：学习如何学习。 机器学习任务，例如分类问题，通常都要求输入在数学上或者在计算上都非常便于处理，在这样的前提下，特征学习就应运而生了。然而，在我们现实世界中的数据例如图片，视频，以及传感器的测量值都非常...
跨模态行人重识别特征对齐
01-18
### 跨模态行人重识别中的特征对齐方法 #### 1. 基于表征学习的方法 为了实现有效的跨模态行人重识别，基于表征学习的方法致力于构建统一的特征空间，在该空间内不同模态下的样本能够保持一致性和可区分性。具体而言，通过引入多模态编码器网络来分别处理来自红外线和可见光两种输入源的信息，并最终融合成共享表示形式[^1]。 ```python import torch.nn as nn class MultiModalEncoder(nn.Module): def __init__(self, input_channels=3, output_dim=2048): super(MultiModalEncoder, self).__init__() # 定义针对每种模态的具体卷积层结构 self.visible_branch = nn.Sequential( nn.Conv2d(input_channels, 64, kernel_size=7, stride=2), ... ) self.infrared_branch = nn.Sequential( nn.Conv2d(1, 64, kernel_size=7, stride=2), # 红外图像一般为灰度图 ... ) # 共享全连接层用于生成共同特征向量 self.shared_fc = nn.Linear(output_dim * block.expansion, num_classes) def forward(self, visible_input, infrared_input): v_feature = self.visible_branch(visible_input).view(-1) i_feature = self.infrared_branch(infrared_input).view(-1) combined_features = (v_feature + i_feature) / 2 return self.shared_fc(combined_features) ``` #### 2. 度量学习框架下特征对齐技术 采用度量学习的方式来进行跨域适应时，则更加强调如何拉近相同个体间距离的同时拉开不同对象间的差距。为此，可以利用三元组损失函数（Triplet Loss），它由锚点样本及其正负例组成；或者是对比损失（Contrastive Loss），其作用在于最小化同类配对之间而最大化异类组合的距离差值。 ```python def triplet_loss(anchor, positive, negative, margin=1.0): distance_positive = F.pairwise_distance(anchor, positive) distance_negative = F.pairwise_distance(anchor, negative) losses = F.relu(distance_positive - distance_negative + margin) return losses.mean() ``` #### 3. 模态转换辅助特征一致性增强 除了直接操作原始特征之外，还可以探索从一种感知方式映射至另一种的可能性——即所谓的“模态互转”。这种方法不仅有助于缓解因设备差异带来的偏差问题，而且可以在一定程度上促进两个领域内部属性层面的一致性表达。 ```python from torchvision import transforms transform_list = [ transforms.Resize((height, width)), transforms.ToTensor(), ] # 使用CycleGAN或其他风格迁移模型完成A->B,B->A双向变换过程... cycle_gan_model.train() for epoch in range(num_epochs): for batch_idx, data in enumerate(dataloader): real_A = Variable(data['A']).cuda() real_B = Variable(data['B']).cuda() fake_B = cycle_gan_model(real_A)['fake'] recov_A = cycle_gan_model(fake_B)['rec'] loss_identity = criterion_identity(recov_A, real_A) optimizer.zero_grad() loss_identity.backward(retain_graph=True) optimizer.step() ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值