对流层的酱猪肘~的博客

研二下第一次投稿，深度学习长时间序列预测方向，选择了《计算机工程与应用》期刊，是CSCD扩展刊+北大核心，且在24年被EI收录等等。4.10交稿到最后5.31收到录用通知，历时不到2个月，总的来说编辑部效率确实高。

针对时间序列在线流数据的预测问题，提出了一种在线集成网络OneNet，对两个分别侧重于跨时间维度依赖关系和跨变量维度依赖关系的模型，使用基于强化学习的方法引入传统的在线凸规划中，动态调整权重进行线性组合，同时利用两种模型的优势解决数据随时间变化出现概念漂移的问题，提高预测精度。

这篇是2023年ICLR的文章，提出了一种有效的多元时间序列预测和自监督表示学习模型 PatchTST，主要是基于Transformer做了以下两点改进：1、将时间序列按照一定大小的窗口和步长切分成Patch，作为模型输入的Token捕捉局部信息； 2、通道独立性：以多变量时间序列为例，每个通道包含一个单变量时间序列，共享相同的嵌入和权重。最后使得基于Transformer的PatchTST模型在长期预测上超过DLinear等SOTA模型

现有的Transformer类模型变体主要都是侧重于捕捉时间序列的跨时间依赖性，而忽略了变量之间的跨维度依赖性，基于此，该文针对多变量时间序列预测提出了Crossformer，这是一个基于Transformer的模型，考虑了跨维度依赖性。主要设计了三大结构：维度分段嵌入（DSW）：负责保留时间和维度信息。每个维度的序列被分割成段，嵌入到特征向量中。两阶段注意力（TSA）：有效捕捉跨时间和跨维度依赖性。分层encoder-decoder（HED）：每一层对应一个尺度

提出了一个通用的多尺度框架Scaleformer，可应用于多种时间序列预测SOTA的Transformer模型（如FEDformer、Autoformer等）。通过在多尺度上迭代地细化时间序列以更好地捕捉时间依赖性，并引入跨尺度标准化缓解因中间不同尺度分布造成的错误预测、引入自适应损失缓解因迭代造成的误差累积，提高模型性能。

在以往的时间序列预测中，对于非平稳序列，都是直接进行平稳化来减弱原始序列的非平稳性，从而更好地进行下一步预测。而这篇针对非平稳时间序列预测提出，直接的平稳化操作会使原始序列失去原始序列的非平稳特性，阻碍深度模型的预测能力，文章中称为“过平稳化”。故该文提出了一个通用框架：Series Stationarization序列平稳化来减弱原始序列的非平稳性、De-stationary Attention去平稳注意力避免过平稳化，使模型能捕捉时间依赖，提高预测性能

需求是下载比如从2020-01-01到2022-12-31区间的沪深300成分股每支股票的日K线数据，没错这是个面板数据，原本以为直接通过Python接口可以直接下载到，因为之前找的上证综指啥的用R的pedquant都是直接获取的（看来因为是单支）。捣鼓了半天，还是我想的简单了……试过Akshare、Tushare、Baostock以及聚宽量化平台下载，下面总结一下下载心得 o_0。

提出了一个轻量级的梯度提升算法**LightGBM**，是GBDT算法的另一个实现，针对XGBoost的局限，在保持精确度的情况下对内存和效率上进行了优化。采用直方图算法Histogram解决分裂点数过多的问题。基于梯度的单边采样算法GOSS解决样本量过多的问题。采用互斥特征捆绑算法EFB解决特征过多的问题。

在原有GBDT的基础上提出了XGBoost，一种高效的极端梯度提升树模型，其属于boosting算法的一种，利用加法模型和前向分布算法将多个弱学习器集成为强学习器实现优化。

为了解决金融产品中新用户数据及标签获取困难等问题，发展普惠金融，文中提出了新的迁移学习算法TransBoost，对传统迁移学习方法核均值匹配KMM模型进行了推广，将提升树作为内核来结合树模型和内核方法的优点，能够处理高维特征和稀疏数据，提高了金融包容性。

由吴恩达团队提出的NGBoost是一种通过梯度提升进行概率预测的算法，与经典的回归模型返回一个点估计结果不同，概率回归模型返回全概率分布，将条件分布的参数视为多参数提升算法的目标，将梯度提升推广到概率回归，允许对不确定性进行预测估计。

提出了一种基于树集成的反事实解释方法，将寻找反事实的问题转化为基于梯度的优化问题，并扩展了以前只能用于可微分模型的技术，提供了用于优化的基于树模型的可微近似框架，产生有效的反事实解释。

这篇是2021年AAAI的best paper，主要提出了Informer模型来解决Transformer中无法用于长时间序列预测的问题，提高了长时间序列预测问题的能力。

跟神经网络相比的话，决策树这类的树模型有以下几个特点：训练速度快、可解释性强、比较适合应用于表格数据。而神经网络有着较好的端到端学习的表征学习能力，可以减轻对特征工程的需求。所以这篇文章的想法就是让神经网络去模拟决策树的行为，从而获得这两者的能力。

提出了图注意力网络GAT，通过引入注意力机制计算出每个节点和与之相关联节点间的重要性系数，从而解决GCN中对每个节点同等重要的问题。

提出了一个完全基于注意力机制的网络结构 transformer 来处理序列相关问题，跟以往不同，没有用到CNN和RNN的结构，将 encoder-decoder 中的循环层替换成了multi-head attention机制，且能够实现并行化操作提高模型效率。...

提出了一种基于图结构的半监督学习方法GCN，解决CNN无法处理不规则数据的问题，通过谱图卷积的局部一阶近似将卷积操作应用到图结构等不规则的数据中进行半监督分类。

这里提供了一个网站可以下载对应的Talib包https://www.lfd.uci.edu/~gohlke/pythonlibs/通过ctrl+F搜索到的Talib包长这样（比如我下载的是python3.7、win64版）一定要和自己的版本对应上，不然安装会报错

为了提高对高噪声振动信号的特征学习能力，提高故障诊断精度，文献提出了一种新的深度学习方法——深度残差收缩网络。在深层结构中插入软阈值作为非线性变换层，以消除不重要的特征。此外，考虑到阈值的合理取值通常具有挑战性，开发的深度残差收缩网络集成了一些专门的神经网络作为可训练模块来自动确定阈值，从而不需要信号处理方面的专业知识。...

文章分析了残差网络背后的的传播机制，表明了前向传播和反向传播的信号可以直接从一个模块传播到另一个模块，并且用实验证明了跳跃连接中恒等映射的重要性，也由此提出了一个新的残差单元来提高模型泛化能力。...