AAAI2024论文合集解读|Gramformer Learning Crowd Counting via Graph-Modulated Transformer-water-merged

论文标题

Gramformer: Learning Crowd Counting via Graph-Modulated Transformer
Gramformer：基于图调制Transformer的群体计数学习

论文链接

Gramformer: Learning Crowd Counting via Graph-Modulated Transformer论文下载

论文作者

Hui Lin, Zhiheng Ma, Xiaopeng Hong, Qinnan Shangguan, Deyu Meng

内容简介

本文提出了一种名为Gramformer的图调制Transformer，用于解决人群计数问题。传统的卷积神经网络（CNN）在处理人群图像时，由于图像中存在大量相似的区域，往往会导致生成的注意力图高度同质化，无法有效捕捉到不同区域的特征。Gramformer通过引入两种图结构——注意力图和基于特征的中心性编码图，来调节Transformer的注意力机制和输入节点特征。注意力图通过编码补丁之间的差异性来多样化注意力图，而中心性编码则用于识别节点的重要性。通过在四个具有挑战性的人群计数数据集上进行的广泛实验，验证了所提方法的有效性和竞争力。

分点关键点

1. Gramformer框架

   • Gramformer通过引入图调制机制，利用注意力图和中心性编码图来增强Transformer的性能。注意力图通过反相似性调节注意力，使得模型能够关注互补信息，从而生成多样化的注意力图。
     

2. 注意力图的构建

   • 采用边缘权重回归（EWR）网络构建注意力图，EWR根据补丁之间的语义差异性来确定边的权重。通过引入边缘正则化项，限制同一水平线上的差异性，从而减少同质化现象。
     

3. 中心性编码的实现

   • 通过构建基于特征的邻接图，识别节点的中心性。节点的出现频率被视为中心性指标，利用可学习的中心性嵌入向量来调节节点特征，增强自注意力关系。

4. 实验验证

   • 在多个人群计数数据集上进行的实验表明，Gramformer在计数性能上优于传统方法，能够有效处理人群图像中的复杂性和多样性。
     

论文代码

代码链接：https://github.com/LoraLinH/Gramformer

中文关键词

1. 群体计数
2. 图调制Transformer
3. 注意力机制
4. 中心性编码
5. 边缘权重回归
6. 自注意力

AAAI论文合集：

AAAI论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！