融合创新！全局特征+局部特征，性能优于Transformer

在图像处理领域，全局特征和局部特征融合是一种常见且十分高效的策略，用于提高图像分析和识别任务的性能。

• 全局特征反映了图像的整体属性，如颜色分布、形状轮廓等，它们通常对图像的尺度和旋转具有不变性。

• 局部特征关注于图像中特定关键点或区域的特性，如角点或边缘，这些特征有助于识别图像中的特定对象和细节。

这种融合策略综合利用了不同特征之间的优势互补，可以提高系统的鲁棒性、提升处理效率及实际应用中提高图像检索的准确率，是CV领域值得深入研究的重要方向。

本次分享全局特征+局部特征10种融合创新方案，有最新的也有经典的，可借鉴的方法和创新点我做了简单介绍，原文以及相应代码都整理了，方便同学们学习。

论文原文以及开源代码需要的同学看文末

InterFormer: Interactive Local and Global Features Fusion for Automatic Speech Recognition

方法：本文提出了一种用于自动语音识别（ASR）的高效双并行分支编码器InterFormer。在InterFormer中，作者利用卷积分支提取局部特征，利用Transformer分支捕捉全局表示。在Aishell-1数据集上性能优于Conformer和Transformer模型。

创新点：

• 本文提出了InterFormer作为一种交互式本地和全局特征融合的方法，以学习更好的ASR表示。InterFormer采用了平行设计，结合了卷积块和Transformer块。此外，还提出了双向特征交互模块（BFIM）和选择性融合模块（SFM）来实现本地和全局特征的交互和融合。

• SFM方法能够动态地融合卷积和Transformer分支的特征，并有效地结合来自双分支的信息，以权衡每个分支在不同层中的重要性。

PointCore: Efficient Unsupervised Point Cloud Anomaly Detector Using Local-Global Features

方法：本文提出了一种基于联合局部全局特征的无监督点云异常检测框架，称为PointCore。PointCore只需要一个内存库来存储局部全局表示，并为这些局部全局特征分配不同的优先级，以减少推理过程中的计算复杂度和特征不匹配的干扰。

创新点：

• 全局和局部配准：

  • 作者使用FPFH特征描述符和RANSAC算法实现了点云的全局配准，并引入了点-平面ICP算法来局部优化全局配准的结果。

  • 这种方法提高了点云配准的稳定性，并通过最小二乘问题的最小二乘方法解决了配准的损失函数。

• 内存库构建：

  • 作者提出了一种贪婪的下采样算法来对点云进行采样。

  • 通过构建内存库，将局部（坐标）和全局（PointMAE）表示存储在单个内存库中，降低了计算复杂度和特征不匹配的干扰。

  • 引入了基于排名的归一化方法，可以将不同尺度的值调整到一个概念上的公共尺度，并将密集分布的数据转化为均匀分布，以提高鲁棒性。

Unifying Local and Global Multimodal Features for Place Recognition in Aliased and Low-Texture Environments

方法：论文开发了一种新的地点识别模型UMF，该模型通过融合视觉和LiDAR数据的局部和全局特征，并基于单模态局部特征进行重新排序，以提高Simultaneous Localization and Mapping (SLAM)系统的可靠性和性能。

创新点：

• 引入Super-Features

  • Super-Features 是一种中级场景表示方法，在地点识别任务中表现出色。

  • 通过对Super-Features进行对比学习，通过Transformer层传递局部特征来训练Local Super-features Integration Transformer (LIT)。

  • Super-Features的构建包括一个迭代的注意力模块，可以生成一个集合，其中每个元素都关注于一个局部和具有辨识度的图像模式。

• 引入自注意力和交叉注意力

  • 在UMF模型中，引入自注意力和交叉注意力机制，以增强模型对输入数据不同部分的动态关注能力。

  • 自注意力层使模型能够对单个模态（F Vision或F LiDAR）内的特征分配不同的重要性权重，从而捕捉局部和全局上下文中的模式。

  • 交叉注意力层将两个模态（F Vision和F LiDAR）的特征作为输入，从而使模型能够捕捉两个模态之间的相关模式，从而学习更丰富的场景表示。

HiFuse: Hierarchical Multi-Scale Feature Fusion Network for Medical Image Classification

方法：本文提出了HiFuse，一种三分支的层次融合分类模型。HiFuse模型通过局部特征块、全局特征块和层次特征融合块（HFF块）从不同尺度上融合局部特征和全局表示，能够全面挖掘医学图像分类任务中病变区域的深浅特征和全局局部特征。

创新点：

• 作者提出了HiFuse模型，结合局部和全局特征块，并设计了层次特征融合块（HFF块）来融合这些特征，并保持局部和全局分支的完整性。

• HiFuse模型在ISIC2018、Covid-19和Kvasir数据集上取得了相对较好的结果。

• 作者针对不同数据集设计了有针对性的动态层次特征选择，进一步提高了HiFuse模型的性能。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“融合10种”获取全部论文+代码

码字不易，欢迎大家点赞评论收藏