ShuffleMixer阅读

2022年的文章

引言

很多网络高度依赖堆叠更深或更复杂的模型来扩大感受野以提高性能。 因此，所需的计算预算使得这些重型 SR 模型难以在实际应用中部署在资源受限的移动设备上。

为了减轻繁重的SR模型，人们提出了各种方法来降低模型复杂性或加快运行时间，包括高效的操作设计，神经架构搜索、知识蒸馏和结构重新参数化方法。 这些方法主要基于改进的小空间卷积或高级训练策略，而很少探索大核卷积。 而且，它们大多关注效率指标之一，在实际资源受限的任务中表现不佳。

网络结构

上图为ShuffleMixer的网络结构。

有一些论文提到的细节在图上没有，比如特征提取是一个3*3卷积，为了节省上采样模块的参数，仅仅使用1*1卷积和pixel shuffling，对于*4scale factor，是进行两次*2上采样，最后的输出也很特别，是把上采样之后的SRImage与经过双线性插值处理的LRImage进行相加来输出，即

Feature Mixing Block由两个Shuffle Mixer Layer和一个FMBConv组成，Shuffle MixerLayer 由两个Channel Projection和夹在中间的大核Depthwise Convolution组成。Channel Projection引入了Channel splitting and shuffling 策略 

Z0经过LN首先会被拆分通道为Z01和Z02，Z01将经过1*1逐点卷积，再与Z02合并进行Channel shuffling，最后与Z0相加输出。 

学习策略 

Lp是L1loss，入是权重参数，设置为0.1，F是快速傅里叶变换。