行人重识别——表征学习与度量学习

根据损失分类:表征学习和度量学习
表征学习:没有直接在训练网络的时候考虑图片间的相似度,而把行人重识别任务当做分类问题或者验证问题来看待
度量学习:通过网络学习出两张图片的相似度,在行人重识别问题上,表现为同一行人的不同图片间的相似度大于不同行人的不同图片

表征学习

分类损失&验证损失

分类损失又称id损失:利用行人的id作为训练标签来训练模型,每次只需要输入一张图片
验证损失:输入一对(两张)行人图片,让网络来学习这两张图片是否属于同一行人,等效于二分类问题
在这里插入图片描述
(IDE网络是Reid领域开始的一个,相当于hello world)
在这里插入图片描述
在这里插入图片描述

总结

  • 通过构造网络来直接得到鲁棒的Reid特征,不直接学习图片之间的相似性
  • 通常需要额外的FC层来辅助特征学习,测试阶段FC层会被丢弃
  • ID损失的FC层维度与ID数量一致,当训练集太大时网络巨大,训练很难收敛
  • 验证损失测试的时候需要输入一对图片,识别效率很低
  • 表征学习通常而言比较稳定,结果容易复现
  • 表征学习的分布式训练通常比较成熟

度量学习

定义

度量学习旨在学习两张图片的相似性
在这里插入图片描述
常用的度量学习损失方法:
对比损失(Contrastive loss)、三元组损失(Triplet loss)、 四元组损失(Quadruplet loss)、难样本采样三元组损失(Triplet hard loss with batch hard mining, TriHard loss)

对比损失

在这里插入图片描述

三元组损失

在这里插入图片描述
缺点:没有考虑距离的绝对值,不利目标跟踪

改进三元组损失

在损失函数中添加了一项锚点与正样本之间的距离值
在这里插入图片描述

四元组损失

在这里插入图片描述

难样本挖掘

传统的度量学习方法是随机采样组成元组样本,但是这样采集的样本通常是非常容易识别的样本,不利于训练表达能力强的Reid网络

难样本采样三元组损失(TriHard loss)

在这里插入图片描述

Triplet loss with adaptive weights

TriHard loss只考虑了极端样本的信息,造成局部梯度特别大,使得网络崩溃。
提出了一种自适应权重损失:对于正样本对,距离越大权值就越大;对于负样本对,距离越大权值就越小

总结

  • 通过构造网络来直接学习图片之间的相似性
  • 不需要额外的fc层来辅助特征学习
  • 网络大小与训练集规模无关,但是数据采样器时间消耗会增加
  • TriHard loss为目前业界度量学习的标杆
  • 度量学习通常而言训练比较随机,需要一定的训练经验
  • 度量学习的分布式训练不太成熟,通常需要自己实现部分代码
### 跨模态行人重识别中的特征对齐方法 #### 1. 基于表征学习的方法 为了实现有效的跨模态行人重识别,基于表征学习的方法致力于构建统一的特征空间,在该空间内不同模态下的样本能够保持一致性和可区分性。具体而言,通过引入多模态编码器网络来分别处理来自红外线和可见光两种输入源的信息,并最终融合成共享表示形式[^1]。 ```python import torch.nn as nn class MultiModalEncoder(nn.Module): def __init__(self, input_channels=3, output_dim=2048): super(MultiModalEncoder, self).__init__() # 定义针对每种模态的具体卷积层结构 self.visible_branch = nn.Sequential( nn.Conv2d(input_channels, 64, kernel_size=7, stride=2), ... ) self.infrared_branch = nn.Sequential( nn.Conv2d(1, 64, kernel_size=7, stride=2), # 红外图像一般为灰度图 ... ) # 共享全连接层用于生成共同特征向量 self.shared_fc = nn.Linear(output_dim * block.expansion, num_classes) def forward(self, visible_input, infrared_input): v_feature = self.visible_branch(visible_input).view(-1) i_feature = self.infrared_branch(infrared_input).view(-1) combined_features = (v_feature + i_feature) / 2 return self.shared_fc(combined_features) ``` #### 2. 度量学习框架下特征对齐技术 采用度量学习的方式来进行跨域适应时,则更加强调如何拉近相同个体间距离的同时拉开不同对象间的差距。为此,可以利用三元组损失函数(Triplet Loss),它由锚点样本及其正负例组成;或者是对比损失(Contrastive Loss),其作用在于最小化同类配对之间而最大化异类组合的距离差值。 ```python def triplet_loss(anchor, positive, negative, margin=1.0): distance_positive = F.pairwise_distance(anchor, positive) distance_negative = F.pairwise_distance(anchor, negative) losses = F.relu(distance_positive - distance_negative + margin) return losses.mean() ``` #### 3. 模态转换辅助特征一致性增强 除了直接操作原始特征之外,还可以探索从一种感知方式映射至另一种的可能性——即所谓的“模态互转”。这种方法不仅有助于缓解因设备差异带来的偏差问题,而且可以在一定程度上促进两个领域内部属性层面的一致性表达。 ```python from torchvision import transforms transform_list = [ transforms.Resize((height, width)), transforms.ToTensor(), ] # 使用CycleGAN或其他风格迁移模型完成A->B,B->A双向变换过程... cycle_gan_model.train() for epoch in range(num_epochs): for batch_idx, data in enumerate(dataloader): real_A = Variable(data['A']).cuda() real_B = Variable(data['B']).cuda() fake_B = cycle_gan_model(real_A)['fake'] recov_A = cycle_gan_model(fake_B)['rec'] loss_identity = criterion_identity(recov_A, real_A) optimizer.zero_grad() loss_identity.backward(retain_graph=True) optimizer.step() ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值