小波卷积：为计算机视觉任务开辟新的参数效率之路

论文复述

这篇论文介绍了一种创新的卷积神经网络层——WTConv，它通过小波变换技术显著扩展了CNN的感受野，同时保持了参数效率。WTConv层能够实现对输入数据的多频率响应，增强了模型对形状而非纹理的特征识别能力，提高了在图像分类、语义分割和目标检测等视觉任务中的性能和鲁棒性。论文通过广泛的实验验证了WTConv的有效性，并展示了其在不同视觉任务中的应用潜力。

论文地址： https://arxiv.org/abs/2407.05848

摘要

论文指出，近年来尝试通过增加卷积核的大小来模仿视觉变换器（Vision Transformers, ViTs）自注意力模块的全局感受野，但这种方法很快遇到了上限，并且在达到全局感受野之前就饱和了。作者展示了通过利用小波变换（WT），实际上可以不遭受过度参数化的问题，获得非常大的感受野。例如，对于一个k×k的感受野，所提出方法中可训练参数的数量仅以k的对数级增长。提出的层名为WTConv，可以作为现有架构中的替代品，有效响应多频率，并随着感受野大小的增加而优雅地扩展。通过在ConvNeXt和MobileNetV2架构中展示WTConv层的有效性，以及作为下游任务的骨干网络，并展示了它带来的额外属性，如对图像损坏的鲁棒性增加以及对形状而非纹理的响应增加。

引言

引言指出了卷积神经网络（CNN）在计算机视觉领域的统治地位正受到视觉变换器（ViTs）的挑战，特别是由于ViTs的多头自注意力层能够实现全局特征混合。为了缩小CNN和ViTs之间的性能差距，研究人员尝试通过增大卷积核来增加感受野，但这种方法遇到了饱和问题。论文提出了一个问题：是否有可能在不增加过多参数的情况下，利用信号处理工具有效增加卷积的感受野，从而提高性能。

总结

论文成功地利用小波变换（WT）提出了WTConv层，这是一种新的CNN层，能够在不大幅增加参数的情况下显著增加感受野。WTConv层通过在小波域中进行卷积操作，实现了对输入数据的多频率响应，这使得网络能够更好地捕捉低频信息，从而提高了对形状的敏感性，并增强了网络的鲁棒性。实验结果表明，WTConv层在多个视觉任务中都取得了性能提升，证明了其有效性。

全文要点

WTConv

WTConv（Wavelet Transform Convolution）是一种基于小波变换的卷积层，它旨在为卷积神经网络（CNN）提供更大的感受野，同时避免因使用大卷积核而带来的参数数量急剧增加的问题。WTConv是一种创新的卷积神经网络层，它通过小波变换技术实现了对输入数据的深层次和多尺度分析。以下是WTConv的几个关键特点和工作原理的详细概括：

1. 小波变换的应用：WTConv使用小波变换对输入信号进行分解，这允许网络在不同的频率和空间尺度上捕捉信息。小波变换提供了一种将信号分解为可提供时间和频率信息的组成部分的方法。

2. 感受野的显著扩展：通过小波变换的多级分解，WTConv能够在保持参数数量相对较低的同时，实现对输入数据更大范围的覆盖。这意味着即使是小的卷积核也能够通过小波变换捕捉到更广泛的上下文信息。

3. 参数效率与性能提升<