NFormer: Robust Person Re-identification with Neighbor Transformer

WindyChanChan

已于 2023-07-04 17:58:52 修改

阅读量133

点赞数

分类专栏：论文行人重识别文章标签： transformer 深度学习人工智能

于 2023-07-04 09:15:26 首次发布

本文链接：https://blog.csdn.net/u013308709/article/details/131505151

版权

NFormer是一种新型的行人重识别方法，通过建模图像间交互来提高表示学习的稳健性。它引入了Landmark Agent Attention (LAA)和Reciprocal Neighbor Softmax (RNS)模块，分别用于高效地处理图像间关系和实现稀疏注意力，以减少不相关表示的干扰。NFormer在实验中展示了优于其他方法的性能。

摘要由CSDN通过智能技术生成

2022CVPR的NFormer论文，代码

研究内容

研究动机：行人重识别具有判别行鲁棒的表示学习是关键的，但是很多研究者考虑从的单个图像中学习表示，忽略了图像之间的交互。然而，由于身份内的高度变化，忽略这种交互通常会导致异常特征。
解决方法：提出了NFromer网络，显示地对所有输入图像上的交互进行建模，从而抑制异常值特征并导致总体上更稳健的表示。由于建模大量图像之间的交互是一项具有大量干扰因素的艰巨任务，NFormer引入了两个新模块，即Landmark Agent Attention和Reciprocal Neighbor Softmax。
- the Landmark Agent Attention (LAA)通过在特征空间中使用少量Landmarks的低秩因子分解来有效地对图像之间的关系图进行建模.
- Reciprocal Neighbor Softmax （RNS）实现了对相关邻居的稀疏关注，而不是仅关注所有邻居，这减轻了不相关表示的干扰，并进一步减轻了计算负担。