CrowdFormer

CrowdFormer弱监督人群计数

提出问题：

当前弱监督计数方法采用CNN，CNN感受野有限。人们越来越关注只需要计数级注释的弱监督人群计数方法。

解决方法：

提出了一种使用金字塔vision transformer的弱监督人群计数方法。

利用金字塔vision transformer提取具有全局上下文的多尺度特征,提出了一个有效的特征聚合模块，将来自transformer不同阶段的特征和一个简单的回归头结合起来，以估计人群数量。

使用预训练的transformer backbone从输入图像中提取多尺度特征。不同阶段的特征由特征聚合模块组合，并输入回归头，回归头给出人群数量的估计。

CrowdFormer使用金字塔vision Transformer PVTv2作为特征提取主干。特别是，我们使用了PVTv2的“pvt v2 b5”版本。它有四个阶段，每个阶段生成不同比例的特征图。

PVTv2利用重叠patch(与6相同)嵌入来标记图像。生成图像patch时，相邻窗口重叠一半面积。重叠patch嵌入是通过应用零填充卷积和适当的步长来实现的。

损失函数：

smooth L1损失

实验结果：

CrowdFormer在跨数据集评估中表现出显著的通用性，因为它具有类似自注意力的架构，可以模拟短期和长期的空间依赖性。