Frequency-Adaptive Dilated Convolution for Semantic Segmentation
内容:文章介绍了一种名为FADC的新型卷积方法,用于改善语义分割任务中的性能。FADC通过三种策略:自适应扩张率(AdaDR)、自适应核(AdaKern)和频率选择(FreqSelect),从频谱分析的角度增强了扩张卷积的各个阶段。AdaDR根据局部频率分量动态调整扩张率,AdaKern调整卷积权重中低频和高频部分的比例,而FreqSelect通过空间变化的重加权平衡特征表示中的高低频成分。
Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling
内容:文章介绍了Orchid,这是一种新型的序列建模方法,旨在解决注意力模型中的二次计算复杂度问题,同时不牺牲模型捕捉长距离依赖的能力。Orchid的核心是数据自适应卷积层,它使用一个条件神经网络根据输入数据动态调整其核,使模型在长序列长度上保持可扩展性和效率。Orchid不仅在多种场景下一致性地超越了传统的基于注意力的架构,而且还扩展了可行序列长度,超越了密集注意力层的限制,这标志着在追求更高效、可扩展的深度学习模型方面迈出了重要一步。
ResDiff: Combining CNN and Diffusion Model for Image Super-resolution
内容:文章介绍了ResDiff,一种结合了卷积神经网络(CNN)和扩散概率模型(DPM)的新型单图像超分辨率(SISR)方法。ResDiff利用CNN恢复图像的主要低频内容,并使用DPM预测真实图像与CNN预测图像之间的残差,从而在加速生成过程的同时获得更优质的样本质量。此外,文章还引入了基于频域的CNN损失函数和频域引导的DPM,以促进高频细节的预测。广泛的实验表明,ResDiff在模型收敛时间、生成质量和样本多样性方面优于先前的基于扩散的方法。
Laplacian Convolutional Representation for Traffic Time Series Imputation
内容:文章提出了一种名为LCR的新型交通时间序列数据插补模型,该模型结合了循环矩阵的低秩性质和拉普拉斯核的时间正则化,以捕捉全局和局部趋势。LCR模型通过在频域中利用快速傅里叶变换(FFT)来快速求解,有效地处理了各种时间序列行为的插补问题,并在多个基准数据集上的实验结果证明了其优越性。此外,该研究还探讨了将LCR模型应用于图像修复任务的可能性。