Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Crowd Countin

 

Accepted by CVPR2021

Lingbo Liu1, Jiaqi Chen1, Hefeng Wu1, Guanbin Li1,2, Chenglong Li3, Liang Lin1,4*

 

研究领域：RGBT行人计数

目录

1.摘要和引言

2.方法

2.1 Overview

2.2协作表示学习

2.2.1 上下文信息提取

2.2.2 信息聚合传输（IAT）

2.2.3信息分布传输（IDT）

---

 

1.摘要和引言

 

       提出了一种跨模态协同表示学习框架，包含多个模态特定分支，一个模态共享分支以及一个信息聚合分布模块（IADM  Information Aggregation-Distribution Module）来捕获不同模态的互补信息。确切地说，IADM包含两个协作信息传输，来动态地增强具有双重信息传播机制的模式共享和特定于模式的表示，确切地说：（1）动态聚合所有模态特定特性的上下文信息以增强模态共享特性的信息聚合传输。（2）传播模态共享信息，以对称地细化每个模态特定的特征，来进一步进行表示学习的信息分布传输。此外，将IADM嵌入到不同的层中，来分层学习跨模态表示。

        本文提出的方法具有三个吸引人的特性：

（1）由于双重信息传播机制，IADM可以有效捕获多模态互补信息方便人群计数。

（2）作为一个即插即用的模块，IADM可以很容易地整合到各种骨干网络中进行端到端优化。

（2）该框架对于多模态行人计数是通用的。除了RGBT计数，提出的方法可以轻松应用到RGBD计数。

       本文主要贡献有以下三点：

• 为促进人群计数研究，引入一个大规模的RGBT基准，在无约束场景下采集的2030对RGB-热红外