特征提取神操作，登上Nature！计算速度狂提300%！

特征提取新突破，登上Nature！作者提出CVOCA，一种能同时处理数据的幅度和相位信息的卷积模型，在性能远超SOTA的同时，计算速度更是狂飙300%！

实际上，作为机器学习和深度学习的核心技术，特征提取一直都是研究的热门！它直接影响着模型的准确性、计算效率、可解释性……

同时，它也是我们改模型涨点，最好操作的部分！因为可切入点的真的非常之丰富，不管是轻量化、多尺度、时域与频域结合等，都能使模型性能得到提升！加之，Mamba、KAN等新技术的发展，以及何恺明大佬对扩散模型做特征提取器的探讨，更是给我们的论文创新提供了机会。

目前动态特征提取、跨学科交叉、自动化特征工程、与自监督学习结合、跨模态都是好出创新的方向。为方便大家研究的进行，我也给大家准备了25种前沿特征提取方法，一起来看！

论文原文+开源代码需要的同学看文末

Transformer-Based No-Reference Image Quality Assessment via Supervised Contrastive Learning

内容：这篇文章提出了一种基于监督对比学习（SCL）和Transformer的无参考图像质量评估（NR-IQA）模型SaTQA。该模型首先利用大规模合成数据集通过SCL训练，无需图像主观评分即可提取各种失真类型和程度的图像退化特征。接着，作者设计了一个结合CNN归纳偏差和Transformer长期依赖建模能力的多流块（MSB）作为骨干网络，进一步提取图像的失真信息。最后，通过提出的Patch Attention Block（PAB）将对比学习学到的退化特征与骨干网络提取的感知失真信息融合，得到最终的失真图像质量评分。实验结果表明，SaTQA在六个标准IQA数据集上均优于现有最先进的方法，无论是合成数据集还是真实数据集。

Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed

内容：本文提出了一种名为Efficient LoFTR的新型图像匹配方法，旨在高效地生成半密集图像匹配点。该方法对LoFTR进行了改进，通过引入聚合注意力机制和自适应标记选择来提高效率，并设计了两阶段相关层以提高匹配精度。实验表明，Efficient LoFTR的效率比LoFTR提高了约2.5倍，甚至超过了当前最先进的稀疏匹配流程SuperPoint + LightGlue，同时在多个任务上实现了更高的匹配精度，为大规模或延迟敏感的应用（如图像检索和三维重建）提供了新的可能性。

TOPS-speed complex-valued convolutional  accelerator for feature extraction and  inference

内容：本文介绍了一种基于光学的复值卷积加速器（CVOCA），其计算速度超过2万亿次运算每秒（TOPS），用于特征提取和推理任务。该加速器利用光学神经形态硬件，能够高效处理复值数据，特别是处理合成孔径雷达（SAR）图像等复杂的波相关数据。实验中，该系统在处理500张SAR图像时达到了83.8%的准确率，接近计算机模拟的结果。这一成果不仅展示了光学计算在处理高维、复杂数据方面的潜力，还为实时、高维数据分析提供了新的硬件解决方案，有望在通信、雷达和卫星成像等领域得到广泛应用。

MLP-KAN: UNIFYING DEEP REPRESENTATION AND  FUNCTION LEARNING

内容：本文提出了一种名为MLP-KAN的新型统一方法，将深度表示学习和函数学习相结合。该方法通过在混合专家（MoE）架构中整合多层感知机（MLP）和Kolmogorov-Arnold网络（KAN），动态适应不同任务的特性，从而在无需手动选择模型的情况下实现最优性能。MLP-KAN嵌入在基于Transformer的框架中，在计算机视觉、自然语言处理和符号公式表示等多个领域的四个常用数据集上取得了显著的实验结果。广泛的实验评估表明，MLP-KAN在深度表示和函数学习任务中均具有卓越的通用性和竞争力，简化了模型选择过程，为各种领域提供了全面且灵活的解决方案。

Exploring State Space Model in Wavelet Domain:  An Infrared and Visible Image Fusion Network via  Wavelet Transform and State Space Model

内容：本文提出了一种名为W-Mamba的新型红外与可见光图像融合网络，该网络通过结合小波变换和状态空间模型（SSM），有效整合了频率域特征和全局语义信息，以解决现有方法在跨模态全局特征提取不足和局部纹理细节保留不足的问题。W-Mamba引入了Wavelet-SSM模块，用于提取频率域中的全局和局部特征，并设计了跨模态特征注意力调制模块，以促进不同模态间的高效交互和融合。实验结果表明，该方法在视觉效果和性能上均优于当前最先进的方法。

码字不易，欢迎大家点赞评论收藏！

关注下方《AI科研技术派》

回复【25特取】获取完整论文

👇