weixin_43898295的博客

两种不同的模态学习两组特定于模态的同一性分类器(θv用于可见模态，θt用于热模态） 给定可见光模态的模态特性分类器θv表示，输入可见光图像xv i的输出logs相应地由zv计算，用softmax函数计算可见光样本xv i被正确识别为模态I的概率PV（Yi xv i）。在教师集成模型的激励下，采用不同分类器输出的集成，为每批中的n个恒等式生成一个增强的教师模型。特定于模态的身份分类器与可共享模态的身份分类器θ0共享相同的结构，但它们分别进行了优化，以在分类器级别捕获不同的特定于模态的信息。

对于每个样本图像xi，都有 σ 一个身份标签yi，一个真实的模态标签ti和一个混淆的模态标签oi，对于每个输入样本xi，真实模态标签ti对于可见图像被设置为 [1,0]，对于红外图像被设置为 [0,1]。在等式的右侧，第一项中的第一元素是中心损耗的一般形式，其表示图3 (a) 和 (b) 中的外圆 (灰色) 约束。应用约束余量 σ 以确保属于同一类的样本不太靠近中心，防止特征过度拟合到特征中心，以适度保持身份描述的多样性，即使在不同的模式下也是如此。特征提取器的目的是提取模态不变和区分性的特征。

基于级联聚合的模态协同互补学习在可见光-红外人员识别中的应用级联聚合的模态协同互补学习网络(MSCLNET)。基本思想是协同两个模态来不同的身份鉴别语义和较少噪声的表示。然后，在这两种模式的优点下对协同表征进行了补充。此外，提出了级联聚合策略，用于，该策略将子类、类内和类间的特征嵌入进行渐进聚合。传统的硬样本挖掘和特征聚合方法在实例级优化特征嵌入距离。这种粗粒度度量学习忽略了所有实例的综合分布。我们的目标是以级联的方式在不同的层次上进行优化。

对于图库数据，模态间的交互是微不足道的，因为它只是引入了固定查询所提供的信息，这些信息是冗余的，甚至是噪声的。对于异质过程和同质过程，由于模态内和模态间的相似性差异很大，我们采用了不同的τ。（1）针对训练-测试模态平衡差距，提出了一个同质和异质特征转移(H2FT)模块，包括两种独立的设计良好的图形模块和一个非平衡场景模拟，它更适合于处理非平衡模态分布场景中的样本交互。（1）训练-测试模态平衡间隙，两种模态数据的数量在训练阶段是平衡的，但在推理上却极不平衡，导致基于图形的VI-ReID方法的泛化程度较低。

在conda里面创建环境过后，在所创建的环境下安装第三方库出现“CondaHTTPError: HTTP 000 CONNECTION FAILED for url ”相关的问题。以pytorch为例，在安装pytorch时为了加快安装速度都会手动添加镜像源，以往都是通过添加以下几个镜像源。添加以下镜像源，注意是http不是https!

在单粒度存储模块的基础上，我们构建了一个多粒度存储模块(MG-MRA)，MG-MRA由层次语义原型M组成，即部分-实例-语义，以避免过度抽象。因此，尽管原型中的内存槽跨越不同的语义多样性，但M是共享的，以表示所有样本的通用概念。定义了2×(P×I×S×NC)×C形状的原型度量M，其中P、I和S分别为零件、实例和语义层的每个原型数预定义，NC为类别数。其中fi和mj是来自输入f和原型度量m的特征和原型切片，wij是度量fi和mj之间余弦相似度d(·，·)的归一化权重。

现成的对象检测器裁剪的人物图像不一定是对齐的，这会分散有辨别力的人物表示学习。一种新颖的特征学习框架，以统一的方式解决这些问题。利用跨模态人物图像之间的密集对应关系，解决像素级的跨模态差异，更有效地抑制人物表示中与模态相关的特征，也鼓励了跨模态局部特征之间的像素关联。RGB 和 IR 图像的未对齐特征对处理跨模态差异有不利影响，会分散学习人员的表示。方法励鼓励RGB 图像的人物表征从具有相同身份的 IR 图像中重建那些表征。

将RGB模态单独处理得到一个灰度模态，灰度模态作为辅助模态有利于增加RGB和红外模态的关联性，HHI loss 缩小了三个模态之间的距离，reg loss进一步减小了交叉模态之间的变化。

双噪声标签（TNL），即噪声标注和对应。简而言之，一方面，由于数据收集和注释的复杂性，例如红外模态的可识别性差，不可避免地会以错误的身份对一些人进行注释。另一方面，单一模态中错误注释的数据最终会污染跨模态对应关系，从而导致噪声对应关系。为了解决TNL问题，提出了一种新的鲁棒VI-ReID方法，称为双重鲁棒训练(DART)。简而言之，DART首先利用深度神经网络的记忆效应计算注释的干净置信度。然后，所提出的方法用估计的置信度纠正噪声对应，并将数据进一步分为四组以供进一步利用。(a)...

目录摘要​方法 结果 论文链接 提出了一种非线性中间模态生成器（MMG），它有助于减少模态差异。MMG 可以有效地将 VIS 和 IR 图像投影到统一的中间模态图像 (UMMI) 空间中，以生成中间模态 (M-modality) 图像。生成的 M 模态图像和原始图像被馈送到主干网络以减少模态差异。为了将 UMMI 空间中从 VIS 和 IR 图像生成的两种类型的 M 模态图像拉在一起，提出了一个分布一致性损失 (DCL)，以使生成的 M 模态图像的模态分布一致尽可能。最后提出了一个中间模

在本文中，我们通过提出一种新的跨模态共享特定特征转移算法（称为 cm-SSFT）来解决上述限制，以探索模态共享信息和模态特定特征的潜力。我们对亲和力进行建模根据共享特征对不同模态样本进行分类，然后在模态之间和跨模态传输共享特征和特定特征。我们还提出了一种互补的特征学习策略，包括模态适应、项目对抗学习和重建增强，以分别学习每种模态的判别性和互补性共享特征和特定特征。整个 cm-SSFT 算法可以端到端的方式进行训练。 模态共享特征学习方法放弃了许多有用的特定线索，因为无法从其他模态中提取模态特

目录摘要方法 试验 系统地研究了手动设计的架构，并确定适当地分离批标准化 (BN) 层是极大推动跨模态匹配的关键。基于这一观察，基本目标是为每个 BN 层找到最佳分离方案。提出了一种新方法，称为跨模态神经架构搜索（CMNAS）。它由一个面向 BN 的搜索空间组成，其中标准优化可以通过跨模态任务来完成。 讨论： （1）仅在块中分离BN层优于分离整个块； (2) 分离两个BN层块通常优于分离单个BN层。考虑到这些我们得出一个结论，适当分离所有 BN 层是极大推动跨模态匹配的关键。Ne

anoconda下pytorch环境配置及python下载

论文链接：Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification摘要通过挖掘 VI-ReID 的模态内部分级和跨模态图级上下文线索，提出了一种新颖的动态双注意聚合 (DDAG) 学习方法。提出了一个模态内加权部分注意模块，通过将领域知识强加于部分关系挖掘来提取有区别的部分聚合特征。为了增强对噪声样本的鲁棒性，引入了跨模态图结构化注意力，以加强具有跨两种模态...

摘要提出了一种联合模态和模式对齐网络 (MPANet) 来发现可见红外人 Re-ID 不同模式中的跨模态细微差别，它引入了模态缓解模块和模式对齐模块来共同提取判别特征。模态缓解模块以从提取的特征图中去除模态信息。 然后设计了一个模式对齐模块，它为一个人的不同模式生成多个模式图，以发现细微差别。 最后引入了一种相互均值学习方式来缓解模态差异，并提出了一个中心聚类损失来指导身份学习和细微差别发现。贡献：为了发现细微差别并提取判别性特征，提出了模式对齐模块 (PAM)，以无监督方式发现...

目录摘要方法cmGANGeneratorDiscriminatorTraining AlgorithmExperiments摘要（1）提出一种新的跨模态生成对抗网络（称为cmGAN）。为了解决鉴别信息不足的问题，设计了一种基于生成对抗训练的鉴别器，从不同的模式中学习鉴别特征表示。（2）为了解决大规模跨模态度量学习问题，将id损失和跨模态三元组损失结合起来，在最大化实例间跨模态相似性的同时最小化类间歧义。通过使用标准的深度神经网络框架，可以以端到端的方式对整个c..

原文链接：https://www.sciencedirect.com/science/article/pii/S0925231219318156目录摘要方法CE lossHetero-Center LossTwo-Stream Local Feature Network特征提取特征嵌入试验测试结果摘要（1）提出了一种新的损失函数，称为 Hetero-Center loss (HC loss)，以减少类内跨模态变化，通过约束两个异质模态之间的

目录摘要介绍方法网络结构双重约束顶级损失实验结果原文链接：Visible Thermal Person Re-Identification via Dual-Constrained Top-Ranking​​​​​​​摘要1) 直接从数据中进行端到端特征学习，无需额外的度量学习步骤，学习不变的共享特征，同时保持VT-REID的高可分辨性。2) 引入了一种新的双向双约束顶级损失，它同时处理跨模态和模态内变化，以确保学习表示的可辨别性,可以将不同的人从两种异质模..

目录原文链接摘要:1 介绍1.1 数据集：1.2 贡献1.3 评估2 网络结构比较2.1 One-stream Structure2.2 Two-stream Structure2.3 Asymmetric FC layer structur3 网络结构3.1 单流和双流结构的连接3.2 单流结构3.3 备注4深度零填充4.1 网络输入分析4.2RGB-IR深度零填充5 实验5.1 模型比较5.2模型分析原...