Joint CNN and Transformer Network via weaklysupervised Learning for efficient crowd counting

提出问题：

CNN和Transformer可能是互补的。

解决方法：

提出了一种用于有效弱监督人群计数的联合CNN和Transformer学习网络，称为JCTNet。该模型包括三个部分：CNN特征提取模块（CFM）用于提取群组语义信息，Transformer提取模块（TFM）用于捕获全局上下文并彻底学习前景和背景之间的对比特征，计数回归模块（CRM）用于估计最终人数。大量实验和可视化结果表明，该JCTNet在五个主流数据集上都是有效的。

首先，将输入图像送入CNN特征提取模块（CFM），CFM利用VGG16-BN[17]前十层来提取人群语义特征，通过patch 分割partition，将这些特征分割成一维序列，这些序列通过Transformer特征提取模块（TFM）进行全局上下文建模。TFM包括四个改进的Swin Transformer块（MSTB），用于局部注意力和跨窗口交互。将CFM中的语义特征传输到TFM中，以捕获全局上下文并建模长期依赖。最后，将TFM的输出重塑为2D特征图，计数回归模块（CRM）用于预测计数结果

STL表示Swin Transformer层。

损失函数：

SmoothL1损失

实验结果：