wsygxxn的博客

在这项工作中，我们发现结合光学和热信息可以极大地帮助识别行人。为了促进该领域的未来研究，我们引入了大规模 RGBT 人群计数 (RGBT-CC) benchmark，其中包含 2,030 对 RGB 热图像以及 138,389 个带注释的人。此外，为了促进多模态人群计数，我们提出了一个跨模态协作表示学习框架，该框架由多个特定模态分支、一个模态共享分支和一个信息聚合分发模块（IADM）组成，以充分捕获不同模态的互补信息。

该框架由image encoder、thermal encoder和decoder组成。所提出的显式注意力增强融合（EAEF）应用于两个编码器之间，以融合多尺度的特征。图2展示了基于 ResNet 构建的语义分割网络。请注意，该框架自然会在不同的任务上使用不同的backbone。图2。