《论文阅读》AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification

最新推荐文章于 2022-02-15 13:32:28 发布
最新推荐文章于 2022-02-15 13:32:28 发布
阅读量1.1k 收藏 7
点赞数
分类专栏： 深度学习 计算机视觉 文章标签： 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/108896914
版权
本文介绍了一种名为AD-Cluster的增强型域适应人行重识别方法，通过图片生成网络和特征提取网络的协同工作，利用密度聚类和自适应样本增强来提升跨域识别性能。关键步骤包括源域初始化训练、目标域特征聚类、增强数据生成与判别学习。
摘要由CSDN通过智能技术生成

留个笔记自用

AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification

做什么

在这里插入图片描述
Person Re-identification行人重识别，给定一个查询图像（即源图像），行人重识别的目标是在多个不重叠的摄像机之间匹配人（即找到与源图像相同的人）

做了什么

在这里插入图片描述
Domain adaptive person re-identification (re-ID)域自适应行人重识别，这里存在两个网络，图片生成网络和特征提取网络，使用源域对两者进行初始化训练。然后对目标域的图像进行特征提取，再使用聚类得到伪标签，然后使用图片生成网络增强域样本，不断进行优化迭代。

怎么做

在这里插入图片描述
首先先是数据方面，这里的源数据即源域为<Xs,Ys>，其中包含了Ns张行人图片，图片中包含了M种身份，Ys为身份。目标域为Xt，其中包含了Nt张行人图片。
整体结构分为三个部分，DC部分，ASA部分，DL部分
在这里插入图片描述
首先是DC部分即Density-based Clustering部分，这部分使用到了两个主要结构之一的特征提取f网络，即图中的CNN部分，将目标域中的未标签图片输入f提取出特征后，对特征根据密度进行聚类，将聚类得到的类别作为各自的ID伪标签。
这里采用的是density-based clustering即基于密度的聚类方法，它基于这样一个假设：聚类结构能通过样本分布的紧密程度确定，这种方法的大概思想是对区域不断进行取平均后迭代，直到寻找包围点最多的区域，而多类情况就是存在多个区域
在这里插入图片描述
值得注意的是这里的f网络是根据源域进行训练的，是监督性的训练，这里训练的LOSS为
在这里插入图片描述
在这里插入图片描述
Lcls就是简单的分类损失，ns为图片的数量，p(y,x)表示第x个样本属于第y类（即true类）的预测概率
Ltri也是很常见的了，其中xs,i+的意思是和xs,i同一ID的数据，xs,i-则是相反，表示不同ID的数据，m则是一个margin设置
这两个LOSS都是为了使特征提取网络提取出的特征尽可能使得同一ID的特征近似，不同ID的特征最大化
然后将他们相加，对f网络进行初始化训练
在这里插入图片描述
这样就得到了目标域特征的伪标签，即在这里插入图片描述
然后就是第二部分，ASA即Adaptive Sample Augmentation自适应增强部分
在这里插入图片描述
由于域的差异，这种提取特征后聚类的方式会存在很多的噪音，同时也会使样本多样性较低。所以这里就使用到了网络的第二个结构，生成网络g。
这里的做法是保留原图原ID的情况下，从已有图像中生成新的增强数据，比如可以像上图这样，改变摄像头，改变光照等，仅仅是做了风格的改变，所以这里使用了starGAN
在这里插入图片描述
整个网络的处理流程如下：
将输入图片x和目标生成域c结合喂入到生成网络G来合成fake图片
将fake图片和真实图片分别喂入到鉴别器D，D需要判断图片是否真实，还需要判断它来自哪个域
与CycleGAN类似，还有一个一致性约束，将生成的fake图片和原始图片的域信息c’结合起来喂入到生成器G要求能输出重建出原始输入图片x
这里则是将不同的摄像头当成了不同的域类，假设有k类摄像头角度，首先先在源域进行训练，做到的效果是在每一对摄像机对中，能对源域的图片进行一对一的图像转换。
然后就可以使用g来对目标域进行图像增强了，对每个<xt,yt>进行增强，这里的yt是聚类的伪标签，由这步就能得到各自聚类后的结果的增强数据集
在这里插入图片描述
最后是DL即Discriminative Learning判别学习部分
在这里插入图片描述
这里的CNN跟DC部分的CNN是共享权重的，也可以理解为特征提取网络。除此之外这里采用的主要成分是Min-max优化方法，主要是因为这里的样本增强完全独立于聚类和特征，所以可能会导致相机之间的样本多样性不足。
首先是Max方法
在这里插入图片描述
首先定义一个Ddiv为聚类多样性，这里的α(i,j)是为了判断i和j是否是同一个人（这里是同一簇），即若xt,i和xt,j是同一个人，α为1，反之则为0，这里的意图可以理解为对每个xt,i即目标域的一张图，计算出它的f结果即特征提取结果，要使得这个结果与它同一簇的聚类中心的欧式距离最短。
然后就可以定义密度loss Ldiv。可得这里的loss操作是为了防止Ddiv过大而设置的，最大化密度等于最小化密度loss，效果或者说意图和最大化密度同理。
在这里插入图片描述
然后是Min方法
在这里插入图片描述
这里定义的三重损失和源域训练f网络时的三重损失理解一样，也是为了最小化簇内距离，同时最大化特征空间中的簇间距离
在这里插入图片描述
这里的训练可以看到，采用的是交替训练的方法，max步骤中固定特征提取f训练生成器g，min步骤固定生成器g训练特征提取f，两个环节迭代辅助进行

总结

1.Min-max分割优化方法进行两个结构的分割迭代训练挺有意思，很多二路或者双向网络也可以借用这种训练方式
2.特征提取、聚类、增强解决re-id的老套路了

未知丶丶
关注
专栏目录
CVPR 2020 论文大盘点-行人检测与重识别篇
OpenCV中文网
10-26 2026
本文盘点CVPR 2020 所有行人检测（Pedestrian Detection）与人员重识别（Person Re-Identification，ReID）相关论文，在视频监控领域该方...
泛读论文：Person-reID 行人重识别合集
汪汪汪的博客
03-19 1万+
2017CVPR、ICCV和NIPS在Person Reidentification方向的相关工作小结 基于融合特征的行人再识别方法 模式识别与人工智能 2017.3 问题 目前常用的行人再识别方法主要集中在行人外形特征的描述和同一行人对应的 2 幅图像之间距离的学习度量．由于行人图像的亮度和相机角度的变化等，提取行人的外形特征的不变性较难，因此在各个图像库上行人再识别的识别率较低 ...
【论文2】AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification
weixin_43979572的博客
06-05 1904
【课题介绍】：北大，鹏程等实验室。貌似眼熟的六作Rongrong Ji，一二作者Yunpeng Zhai, Shijian Lu，这篇文章录用于CVPR2020，主要是利用一种数据增强手段扩充样本数据【和HHL相似】，增加类别的多样性；另外就是迭代优化策略，一方面最大化人与人图像之间的多样性（可以理解加大类内距离，阻力），另一方面是最小化同一ID类之间图像的距离（可以理解为减小类内距离，动力）不断优化迭代，通过特征提取器实现判别损失（即MIN作用），通过生成器（用的StarGAN）实现多样性样本的生成（即M
2020 CVPR 之ReID：AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identi
makabaka的博客
10-15 496
AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification 简述： 当目标域的身份未知时，现有的方法试图通过转移图像样式或跨域对齐特征分布来解决，而目标域中丰富的未标记样本不能充分地实现。本文提出了一种新的增强描述本地聚类(AD-Cluster)技术，该技术可以估计和增强目标域内的人聚类，并通过附加聚类增强re-ID模型的识别能力。 AD-Cluster交替训练一个图像生成器和一个
《AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification》论文阅读
李加贝的博客
09-13 180
（引入对抗学习来进行数据增强） 作者提出了一种自适应样本增强的方法，通过使用强化学习来生成更多多样性的样本，更大程度的对图像进行转换，并提出了min-max优化策略，最大化样本之间的差异，最大化聚类簇之间的距离，最小化同一簇样本之间的距离，来提高模型的鉴别能力。 使用预训练好的re-ID模型预测样本的聚类类别 Image-generator继续将聚类图像转换到其他摄像机，以增加训练样本，同时保留原始的伪身份标签(即簇标签)。 Feature encoder不断学习，在特征空间中最小化聚...
Deep Discriminative Latent Space for Clustering 理解梳理
shaodongheng的博客
01-07 680
Deep Discriminative Latent Space for Clustering 理解梳理 翻译链接：https://blog.csdn.net/shaodongheng/article/details/83021629 网络结构图： 两个部分的算法： 预训练阶段：  是最大迭代次数，，是第 i 次迭代方程： 的结果，是一个很小的数。 计算数据集原始表示的k最近...
VMware 中安装Windows AD和Cluster
wind_sky的专栏
11-22 926
最近想做netapp的windows的域下的试验,想搭一个测试环境,就找了找资料在VMware中安装和配置Windows集群 (2)http://www.hackbase.com/subject/2009-07-16/14664_2.htmlwindows 2000 advanced server集群安装实例http://www.hackbase.com/subject/2009-
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8748
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification
qq_37668436的博客
08-30 816
题目 利用样本不确定性进行领域自适应REID 问题 存在的问题： 许多无监督区域自适应REID结合伪标签和特征微调来进行，但是由于跨域的问题，一些伪标签并不可靠并且存在很多噪声数据，这会影响特征的学习以及恶化模型的效果。 论文解决方法： 这篇论文通过评估伪标签的置信度，通过抑制噪声样本的的贡献来减轻噪声数据的影响。 论文 作者首先介绍无监督区域自适应业界做法一般分三步： 在源域根据标注标签训练模型 对目标域进行基于聚类的伪标签预测 用伪标签进行特征学习和微调 业界这种方法主要的挑战在于： 如何辨识一个
Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification论文解读
sdsfddfw的博客
01-07 678
论文收录于 AAAI2021 论文地址：https://arxiv.org/abs/2012.08733v2 动机 利用伪标签聚类容易产生错误的或噪声标签。 思路 提出一个探索样本不确定性的方法——在mean teacher输出中，如果是错误的伪标签，两个模型的输出一致性比较低，因此用这个一致性来衡量一个不确定性，从而对损失进行一个加权。（一致性低的，对损失的权重就低一些，因为很可能是错误的聚类标签） 这个图的含义：用 mean teacher 模型输出的特征不一致性来衡量所谓的不确定性。纵坐标是图片数量
Multiple Expert Brainstorming for Domain Adaptive Person Re-identification论文解读
sdsfddfw的博客
01-05 1136
和 MMT 那篇有着异曲同工之妙，同一年发出，不过这篇专注于多个mean-teacher模型的融合 论文收录：ECCV2020 论文地址：http://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123520579.pdf 论文代码：https://github.com/YunpengZhai/MEB-Net 思路 提出一个相互学习策略：用不同结构的多个网络（expert）在源域训练，学习特定的特征，然后通过这些expert相互学习实现跨域。 方法 本
《Adaptive Transfer Network for Cross-Domain Person Re-Identification》论文笔记
weixin_42643931的博客
09-20 1121
《Adaptive Transfer Network for Cross-Domain Person Re-Identification》论文笔记MotivationContributionsProblem FormulationMethodTransfer NetworkSelection NetworkFeature LearningExperiments 原文链接: link. 论文作者 :...
2020 ICML Oral 论文
u014546828的博客
11-30 3784
Oral Papers 38 -ShapeCaptioner: Generative Caption Network for 3D Shapes by Learning a Mapping from Parts Detected in Multiple Views to Sentences Zhizhong Han (University of Maryland, College Park); Chao Chen (Tsinghua University); Yu-Shen Liu (Tsinghua.
Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification理解
Coder_Chen的博客
03-06 966
行人重识别之监督学习与无监督学习结合（CVPR2019） 贡献 该论文提出了存储器的概念用来优化特征提取网络。 改论文将监督学习与无监督学习结合起来了。 部分论文翻译 在此基础上，我们提出了一种新的无监督域自适应方法，在训练过程中，在网络中引入一个样本存储器来存储目标集合中每个样本的最新表示。内存使我们能够对整个/全局目标训练批而不是小批执行不变性约束。这有助于我们在网...
2020 Domain Adaptation 最新论文：插图速览（一）
u014546828的博客
11-30 1698
2020 Domain Adaptation 最新论文：插图速览（一） | Semantic Segmentation | Person Re-identification | CSCL: Critical Semantic-Consistent Learning for Unsupervised Domain Adaptation [paper] Domain Adaptive Semantic Segmentation Using Weak Label...
【CVPR2018】论文整理(收藏这一篇就够了)
热门推荐
木盏
06-23 6万+
CVPR作为CV界最受关注的三大顶会之一，每一个CVer都应该好好关注论文。CVPR2018在今年6月18日-22日在美国盐湖城举行。 先介绍一下CVPR2018的一些数据： 今年一共收到3303篇文章，其中979篇被录用。投录比约为29.6%。 收录论文按专家评分，分为三个层次：Poster, Spotlight, Oral。 Spotlight(亮点论文)一共有224篇，占收录论文(22...
MAL-IGWO：基于改进灰太狼优化的约束优化新算法
"这篇研究论文提出了一种名为MAL-IGWO的新颖约束优化算法，该算法结合了改进的灰狼优化（IGWO）算法寻找全局最优解的能力与修改后的增强拉格朗日（MAL）乘子方法来处理约束条件。在MAL-IGWO算法中，MAL方法有效地将...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值