[l论文学习]DEEP SEMI-SUPERVISED PERSON RE-IDENTIFICATION WITH EXTERNAL MEMORY

为了克服监督再识别的可扩展性问题,我们考虑了半监督再识别问题,即从有限数量的少量标识图像和大量未标识图像中学习。为此,我们提出了一个基于外部性记忆的深度半监督reid模型(EDS)。为了有效地处理标记数据和未标记数据之间的关系,克服深度学习中每个epoch中批量大小的限制,设计了基于外存储器的两个loss函数。因此,可以实现一种有效的深度半监督学习方法。大量的实验验证了该方法在半监督人识别中的优越性。

人员重新识别(Re-ID)涉及在分布在不同位置的相机视图之间匹配人员的问题。以往的研究多集中于手工特征学习[2,3]和度量学习。特别是近年来,利用深度学习学习人的识别特征取得了很大的进。此外,最近的一些研究提出了采用无监督方法来克服监督学习方法的可扩展性问题。然而,由于缺乏有效的监督和不同数据集之间的较大领域差距,从未标记数据中学习是非常具有挑战性的;因此,这些无监督学习方法在应用上仍然存在不足.

半监督学习的目的是在只有有限数量的标记数据可用的情况下,利用大量的未标记数据来提高模型性能。在我们的person Re-ID的半监督设置中,只有少数身份的图像被标记得很好,其余的都是其标记数据。因此,在实际的应用场景中,我们只需要收集少数标识的少量标记数据和大量的未标记数据。半监督学习的关键问题是有效地利用这一海量的未标记数据,并在模型中综合考虑已标记和未标记数据。
近年来,半监督深度学习因其在实际应用场景中的可扩展性和有效性而受到越来越多的关注。在图像分类的背景下,这些方法假设每个类都有少量的标记数据。然而,person Re-ID本质上是一个检索问题,训练集和测试集的身份是不重叠的。与图像分类不同的是,行人图像的识别量非常大,因此为每个识别获取少量图像是一项非常耗时和费力的工作。另一方面,在监控网络中,我们可以不费力地获取大量未标记的行人图像。

在这项工作中,我们的目标是利用大量的未标记数据和少量的标记数据来提高深度模型的性能。具体来说,我们提出了一个基于外部记忆的深度半监督人识别模型(EDS),通过同时学习标记和未标记的图像来学习鉴别部分特征,如图1所示,传统的深度半监督学习方法由于未标记数据量大、图形记忆能力有限,无法有效处理小批量标记数据与未标记数据之间的关系.

我们引入了一种基于外部记忆的深度半监督学习。外部记忆保持了未标记数据的特征,并在训练过程中与网络进行交互,使模型能够准确地保留未标记数据的知识,而不是对所有未标记数据的特征进行计算,这些特征在深度训练的每一个小批中都是不实用的。这样,我们就可以有效地为外部存储器中每一个标记或未标记的图像找到一个近似的邻近数据集。基于外部记忆,我们提出了一种基于标记数据的特征学习损失方法,该方法将零件特征提取到类中心附近,同时将其他类中心和类似的未标记零件特征推开。同时,我们提出了一种未标记数据的特征学习损失(FUD)方法,将不同未标记图像的相似部分拉到一起,将不同部分和类中心点推离到特征空间中。

Partition Network: Learning to Partition

为了自动而不是手动地将特征图划分为条,我们通过分区来了解分区的位置网络是由一个卷积层和两个完全连接层组成的回归网络。
在这里插入图片描述
其中rm是feature map中分块的位置,我们可以将feature map分成M个横条。分区的具体实施和效果可参考补充资料。分割后,将feature map的不同部分送入不同的CNN分支。

记忆模块:

在这里插入图片描述
具有记忆模块的神经网络最近得到了广泛的研究,因为记忆模块可以将过去的知识组织成结构化和可寻址的形式,我们需要将图像的每个部分与所有未标记的图像进行比较,以发现在视觉上最相似的部分,以便在使用minibatch进行训练时,内存可以帮助建模整个数据集的特征分布。

Feature Learning for Labeled Data

学习特征,用损失函数进行约束
通常,我们使用标记数据来指导模型通过优化分类模型中的软最大损失来学习识别特征。对于softmax loss函数,如果我们对输入特征和最后一个全连通层的权值进行归一化处理,重新表述的softmax loss也可以看作是对标准化的欧式距离的优化,权值可以看作是类中心[23]。用归一化的软最大损失函数来保持类的形心

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值