干货！面向人群计数的跨模态协作表征学习方法和大规模RBGT数据集

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

人群计数是一项基本但又十分具有挑战性的视觉任务，它需要丰富的信息来生成像素级别的人群密度图。之前的方法大多数仅使有限的用光学图像信息，在不受控场景下无法很好地发撅潜在的行人。在这项工作中，我们发现，融合光学信息和热感信息可以极大地提升人群计数性能。为了促进该领域未来的科学研究，我们首创地引入了一个大型RGBT人群计数(RGBT-CC)基准，该基准包含2030对光学/热感图像，总共标注了138389位行人。为了进一步促进多模式人群计数的研究，我们提出了一种跨模态协同表征学习框架，该框架由多个模态特异分支，一个模态共享分支以及一个信息聚合分散模块(IADM)组成，以充分捕捉不同模在数据的互补性。具体来说，我们的IADM由两个协同信息传递器组成，通过对偶信息传播机制动态地增强模态共享表征和模态特异分支表征。在RBET-CC数据集上进行的大量实验充分地验证了我们框架对RGBT人群计数的有效性。此外，我们的方法RGBD人群计数任务上也取得了业内领先的性能。

本期AI Time PhD 直播间，我们邀请到中山大学博士，香港理工大学博士后刘凌波带来分享——《Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Crowd Counting》

中山大学博士，香港理工大学博士后，悉尼大学访问学者。主要研究兴趣是城市计算，特别是面向交通出行场景的城市路网提取、人群计数、流量/需求预测、个性化推荐和订单分配等任务；在CVPR，ICCV，IJCAI，ACM MM，TITS，TNNLS，TMM等国际顶级刊物上发表论文15篇。

个人主页: http://lingboliu.com/。

01

 背  景 

给定一张图片，返回图片中的人数，这样