CrowdFormer弱监督人群计数
提出问题:
当前弱监督计数方法采用CNN,CNN感受野有限。人们越来越关注只需要计数级注释的弱监督人群计数方法。
解决方法:
提出了一种使用金字塔vision transformer的弱监督人群计数方法。
利用金字塔vision transformer提取具有全局上下文的多尺度特征,提出了一个有效的特征聚合模块,将来自transformer不同阶段的特征和一个简单的回归头结合起来,以估计人群数量。
使用预训练的transformer backbone从输入图像中提取多尺度特征。不同阶段的特征由特征聚合模块组合,并输入回归头,回归头给出人群数量的估计。
CrowdFormer使用金字塔vision Transformer PVTv2作为特征提取主干。特别是,我们使用了PVTv2的“pvt v2 b5”版本。它有四个阶段,每个阶段生成不同比例的特征图。
PVTv2利用重叠patch(与6相同)嵌入来标记图像。生成图像patch时,相邻窗口重叠一半面积。重叠patch嵌入是通过应用零填充卷积和适当的步长来实现的。
损失函数:
smooth L1损失
实验结果:
CrowdFormer在跨数据集评估中表现出显著的通用性,因为它具有类似自注意力的架构,可以模拟短期和长期的空间依赖性。