读文笔记——SciNet

一、摘要

        SCINet的主要贡献包括提出了一个分层的下采样-卷积-交互时间序列预测框架，该框架通过迭代地在多个时间分辨率上提取和交换信息，学习到具有增强可预测性的表示。此外，SCINet设计了一种基本构建模块SCI-Block，它能够处理输入数据的下采样子序列，并通过不同的卷积滤波器提取特征，同时通过交互学习弥补下采样过程中的信息损失。

二、结论

        利用样本卷积与交互网络，用于时间序列建模和预测。本文SCINet是一个具有丰富卷积滤波器集的分层下采样-卷积-交互结构。它在不同时间分辨率迭代地提取和交换信息，并学习具有增强可预测性的有效表示。

在结论中没看到下一步工作计划

三、引言

RNN；基于Transformer的模型；时间卷积网络TCN这些基于通用模型的TSF方法取得了令人期待的结果，但在建模过程中它们并未考虑时间序列数据的特殊性。例如，时间序列的一个独特特性是，在将其下采样为两个子序列后，时间关系（例如数据的趋势和季节成分）在很大程度上得到保留。因此，通过将时间序列递归地下采样为子序列，可以获得一组丰富的卷积滤波器，以提取多个分辨率的动态时间特征。

列举本文主要贡献：

1、设计了用于构建SCINet的基本构建块SCI-Block，该构建块将输入数据/特征下采样为两个子序列，然后使用不同的卷积滤波器提取每个子序列的特征。为了补偿下采样过程中的信息损失，每个SCI-Block内部的两个卷积特征之间引入交互式学习。

2、采用分层的下采样-卷积-交互式时间序列预测框架，可以有效地对具有复杂时间动态的时间序列进行建模。通过在多个时间分辨率上迭代地提取和交换信息，可以学习到一个具有增强预测能力的有效表示。

四、模型结构

SCINet采用编码器-解码器架构。编码器是一个分层卷积网络，可以以丰富的卷积滤波器捕获多个分辨率下的动态时间依赖关系。

基本构建模块SCI-Block将输入数据或特征降采样为两个子序列，然后使用一组卷积滤波器处理每个子序列，以从每个部分提取出不同但有价值的时间特征。为了弥补下采样过程中信息的丢失，本文在两个子序列之间采用交互学习。

SCINet是通过将多个SCI-Block排列成二叉树结构构建。这种设计的一个独特优势是每个SCI-Block都可以同时具有整个时间序列的局部和全局视图，从而有助于提取有用的时间特征。

在所有降采样-卷积-交互操作之后，提取的特征重新对齐为一个新的序列表示，并将其添加到原始时间序列中，以便使用全连接网络作为解码器进行预测。为了提取复杂的时间模式，可以进一步堆叠多个SCINets并应用中间监督来获得堆叠的SCINet。

论文模型结构图：

当有着足够的训练样本时候，本方法可以堆叠多层SCInet，以此来实现更好的预测效果，代价就是更复杂的模型，更高的计算量。

本文所采用技术：

1. 递归下采样-卷积-交互架构：这是SCINet的核心架构，通过递归地将时间序列下采样成子序列，并在每个子序列上应用卷积滤波器来提取时间特征。这种多分辨率的方法允许模型捕捉时间序列中的局部和全局模式。

2. 样本卷积和交互（SCI-Block）：SCINet的基本构建模块，它将输入数据分解为两个子序列，并使用不同的卷积核来提取特征。SCI-Block内部的交互学习机制通过学习来自不同子序列的信息来弥补下采样过程中可能丢失的信息。

3. 多卷积滤波器：在每个卷积层中使用多个滤波器，这允许模型从数据中提取多样化的有用特征，而不是依赖单一的、统一的卷积核。

4. 层次化特征聚合：通过将多个SCI-Blocks组织成二叉树结构，SCINet能够在不同的时间分辨率上捕捉时间依赖性，从而有效地学习时间序列的复杂动态。

5. 残差连接：在将提取的特征重新对齐并添加到原始时间序列进行预测时，使用残差连接来增强模型的学习能力和预测性能。

6. 全连接网络：作为解码器，用于将增强的特征序列表示解码成预测结果。

7. 交互学习策略：在SCI-Block中，通过交互学习机制，模型可以学习如何在两个下采样的子序列之间交换信息，这有助于提高特征的表达能力。

8. 堆叠SCINet：通过堆叠多个SCINet层并应用中间监督来进一步提高预测精度，这种方法允许模型在更深的层次上学习时间序列的特征。

读完感觉好晦涩，每次看论文都有这种感觉。

最后附上原文操作：https://arxiv.org/pdf/2106.09305v3.pdf