【论文速看】DL最新进展20241019-人脸识别、多模态

【人脸识别】

[NeurIPS 2024] TopoFR: A Closer Look at Topology Alignment on Face Recognition

论文链接：https://arxiv.org/pdf/2410.10587

代码链接：https://github.com/DanJun6737/TopoFR

本文提出了一种新的基于注意力的Transformer模型，称为A2-ViT，用于细粒度视觉识别任务。与现有的ViT模型不同，A2-ViT采用了一种新颖的架构，该架构在输入特征图上应用了两种互补的注意力机制，即通道注意力和空间注意力。这两种注意力机制分别通过全局平均池化和最大池化操作来聚合输入特征的空间信息，并通过两个$1x1$卷积层来计算通道注意力分数。然后，这些注意力分数被用来重新加权输入特征，从而增强重要特征并抑制不相关特征。此外，还引入了一种残差连接，以帮助模型更好地捕捉输入特征中的细微变化。在多个细粒度视觉识别数据集上的实验结果表明，A2-ViT在性能上显著优于现有的ViT模型和其他基于CNN的模型。

---

【多模态】

[2024] Janus:DecouplingVisualEncoding for Unified Multimodal Understanding and Generation

机构：Deepseek、港中文、北大

论文链接：https://arxiv.org/pdf/2410.13848

代码链接：https://github.com/deepseek-ai/Janus

本文引入了Janus，这是一个统一多模态理解和生成的自回归框架。先前的研究通常依赖于单一的视觉编码器来同时处理这两项任务，例如Chameleon。然而，由于多模态理解和生成所需的信息粒度级别不同，这种方法可能导致性能不佳，特别是在多模态理解方面。为了解决这个问题，作者将视觉编码分解为独立的路径，同时仍然利用一个统一的Transformer架构进行处理。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。例如，多模态理解和生成组件都可以独立选择最适合它们的编码方法。实验表明，Janus超越了之前的统一模型，并达到了或超过了特定任务模型的性能。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。

---