读文笔记——PatchMixer

个人看论文习惯：

1、读摘要——看一下作者提出了什么方法，做了哪些贡献弥补掉之前模型哪些不足

2、读结论——了解该文章的结果，达到了什么标准、提升了哪些指标

3、看引言——引言里面一般会写当前技术存在难点

4、了解模型结构和实验——看模型结构，看为什么要这么用和用的什么样的结构。

如有不同意见，欢迎大家在评论区交流发言！

——————————————————————————————————————————

一、摘要

        提到transformer在最近几年为时间序列预测任务中的主导架构，但是它仍然存在一个问题：transformer中的置换不变自注意机制导致时间信息丢失。该文章为了解决这个问题提出一种名为PatchMixer的模型结构：该结构基于CNN模型，引入置换变体卷积来保留时间信息，与该领域中常用的多种尺度或多个分支的传统CNN不同，该结构完全依赖于深度可分离卷积，这样就能够提取局部特征和全局相关性。该结构中还使用了线性和非线性组件的双重预测头，以此更好的关注曲线的趋势和细节。

二、结论

        该文章利用深度可分离卷积和创新的补丁混合涉及，能够有效捕捉全局和局部时间模式而不需要自注意机制，该文章还强调了通过双预测头分别建模线性和非线性组件的重要性，这又提高了模型的预测能力。

        结论表明：该模型在预测准确性上优于对比模型，同时在训练和推理速度上更快；模型在整合外部时间特征方面仍有改进空间。长时间预测通常依赖于诸如假期、天气条件或经济指标等外部因素，有效将这些特征纳入基于补丁模型的挑战也许会为该方向带来更强大的预测解决方案。

三、引言

        该文章中引言部分，提到了大家对transformer进行一系列的改进，然后达到了提高性能或改善计算效率的目的。但是在涉及到简单多层感知器网络实验时，transformer在ltsf中受到大家质疑，transformer对ltsf预测有效吗？对于该问题的回应，一种被命名为PatchTST的模型结构产生，该模型受cv中的patch技术启发，获得优异成果。

        在引言中可以看到该网络的由来，提出patchmixer，该结构主要有两个卷积和两个预测头组成，其独特之处主要在“补丁混合设计”，这意味着将输入时间序列分割为较小的时间补丁，随后在整合补丁内部和之间的信息。同时，该结构还使用了双预测头设计，加入该设计能够让patchmixer优于其它cnn模型。

        在引言中，作者列举出该文章主要贡献：

        1、基于卷积建构，替换transformer中的计算昂贵的自注意模块，同时利用贴片混合设计来揭示时间序列中复杂的时间模式。

        2、与sota模型相比速度提升

        3、与之前cnn模型相比，误差降低

四、模型结构

        在该文章中，解决以下任务：给定一组具有历史回溯窗口L的多元时间序列实例(X1~XL),其中每一步包含M个变量的向量，然后对接下来的T个时间步进行预测，从而得到(XL+1~XL+T)。

论文提出模型结构图：

        对数据进行填充和变换维度之后，发现基于patch的表示法打开了采用类似图像处理方法的可能性，这主要归因于维度扩展的过程。2D格式的扩展引入了空间考虑，与图像数据的特性一致，并且使卷积运算的利用成为可能，与图像数据的特性一致，并且使卷积运算的利用成为可能。

        Patchmixer采用了单尺度深度可分离卷积作为核心模块。补丁混合设计使用深度卷积分离每个位置（内部补丁）的操作，使用逐点卷积分离跨位置（间补丁）的操作，这使模型能够捕获输入序列中的全局感受野和本地位置特征。

        在深度卷积中采用分组卷积，其中组数等于补丁数。为了扩大感受野，采用更大的内核大小，通常等于默认补丁步长S。在这个过程中，输入特征图中的每个N个补丁都分别与一个内核进行卷积。这个操作生成N个特征图，每个特征图对应一个特定的补丁。然后这些特征图被顺序连接起来，以创建一个具有N个通道的输出特征图。

        在深度卷积之后跟随一个点卷积操作，通过该层，模型实现了区块之间的时间交互。

        该文章展示了分离卷积方法的有效性，超越了注意机制，并在总体性能上实现了优越的表现。

        PatchMixer通过跨越卷积的线性残差连接提取时间变化的总体趋势，并在具有非线性功能的完全卷积层之后使用MLP预测头来精确拟合预测曲线中的微小变化。最后，通过对它们各自的输出进行求和来得出预测结果。双头的利用效果比直接利用先前的单一线性压平头产生了更有效的映射效果。

这篇文章读完感觉不是很懂，但是代码能看懂。三月二十一日这天小王找我，让我整理一下做个汇报，到时就拿这个当蓝本，改改去汇报，他一般看文章较少，对我们实操关注较多。最后附上原文链接：PatchMixer