特征提取太好出高区了！何恺明都在抢着发！

最新推荐文章于 2025-03-26 11:40:22 发布

AI科研技术派

最新推荐文章于 2025-03-26 11:40:22 发布

阅读量1.1k

点赞数 21

文章标签： 25特提

本文链接：https://blog.csdn.net/2401_82426425/article/details/144014997

版权

最近在ICLR25上，看到何恺明团队关于特征提取的新作DDM，提出扩散模型也能作为特征提取器，并在自监督学习中表现优异！

除此以外，近来在各大顶会上，也都出现了不少特征提取的成果！比如CVPR24上准确率提升43.96％的ZS-SBIR；AAAI24上性能远超SOTA的TR-DETR……

其热度可见一斑！主要在于，特征提取是深度学习的关键任务，良好的特征提取能够显著提高模型的准确性和效率。通过提取出数据的代表性特征，模型能够更好地理解输入数据，从而做出更准确的预测和决策。

目前主流的方法有：基于Transformer、CNN、扩散模型、LSTM等。为让大家能够深入理解这些方法，实现快速涨点，每种方法我都给大家准备了高质量参考论文和源码，共25篇！

论文原文+开源代码需要的同学看文末

基于Transformer

TR-DETR: Task-Reciprocal Transformer for Joint Moment Retrieval and Highlight Detection

内容：文章介绍了一种名为TR-DETR的模型，它利用任务间的相互关系来同时进行视频片段检索（MR）和高光检测（HD）。该模型通过一个局部-全局多模态对齐模块、一个视觉特征细化设计以及一个任务合作模块来提升检索流程和高光得分预测的准确性，并在多个数据集上取得了优于现有最先进方法的性能。

基于CNN

LEFormer: A Hybrid CNN-Transformer Architecture for Accurate Lake Extraction from Remote Sensing Imagery

内容：论文介绍了一种名为LEFormer的混合CNN-Transformer架构，用于从遥感图像中准确提取湖泊。LEFormer包含三个主要模块：CNN编码器、Transformer编码器和跨编码器融合模块，旨在结合局部和全局特征以提高掩码预测的准确性。实验结果表明，LEFormer在Surface Water和青藏高原湖泊数据集上均实现了最先进的性能和效率。

基于扩散模型

Deconstructing Denoising Diffusion Models for Self-Supervised Learning

内容：论文探讨了去噪扩散模型在自监督学习中的应用和效果。去噪扩散模型是一种生成模型，通过逐步引入噪声并学习逆向过程来生成数据。在自监督学习的背景下，这篇论文分析了如何利用DDMs来学习数据的内在表示，而不需要外部的标注信息。

基于RNN

Multimodal Deep Learning for Remote Stress Estimation Using CCT-LSTM

内容：论文提出了一种基于多模态深度学习的远程压力估计新方法，该方法结合了长短期记忆网络构建了CCT-LSTM处理流程。研究中进行了两个独立的实验：压力任务分类和多级压力分类。实验结果表明，该模型在UBFC-Phys数据集上的压力任务分类和多级压力分类中均取得了高于现有方法的平均准确率和F1分数，有效地利用多模态深度学习和CCT-LSTM流程进行精确、非侵入式的压力检测和分类，具有在健康监测、安全和交互技术等领域的应用潜力。

基于GAN

MAE-GAN: A Novel Strategy for Simultaneous Super-resolution Reconstruction and Denoising of Post-stack Seismic Profile

内容：论文提出了一种名为MAE-GAN的新型策略，用于同时进行地震剖面后堆叠数据的超分辨率重建和去噪。该方法基于生成对抗网络（GAN），通过多尺度注意力编码器-解码器网络来提高地震剖面的分辨率和信噪比，有效地抑制噪声和恢复弱信号。研究引入了多尺度残差模块来提取不同接收场下的地质特征，并设计了注意力模块以进一步指导网络关注重要特征信息。