小波变换最近真的杀疯了!和不少热门发文方向都有结合,而且这些研究成果被包括CVPR在内的多个顶会所收录!今天我们就来蹭下这波发文热点,聊一下小波变换!
小波变换可以多尺度分析信号,在处理非平稳信号时十分有优势,并且能够很好地捕捉信号的局部特征。与热门发文方向的结合通常是利用小波变换在信号处理、特征提取等方面的优势,结合其他技术的特长,共同提升模型的性能和应用效果。
我汇总了小波变换与Transformer、KAN、CNN、GNN、多模态特征融合、注意力机制这些发文方向结合的最新研究成果,需要的同学添加工中号【真AI至上】 回复 小波合集 即可全部领取
小波变换+Tranformer
Wavelet-Based Image Tokenizer for Vision Transformers
文章解析:
本文提出了一种基于小波变换的图像分词器,用于改进视觉Transformer(ViT)模型。
该分词器不仅提高了训练吞吐量和ImageNet验证集的Top-1精度,还具有处理高分辨率图像和抵抗对抗攻击的优势。
通过理论分析,作者解释了为什么新的分词器可以在不改变ViT模型架构的情况下提高训练效率,并为未来的ViT模型设计提供了新的研究方向。
创新点:<