- 博客(61)
- 收藏
- 关注
RSS订阅原创 文献精读周报
本周阅读的文献《Temporal Fusion Transformers for interpretable multi-horizon time series forecasting》介绍了一种新颖的时间序列预测架构——时间融合变换器（Temporal Fusion Transformer, TFT）。该架构的目的在于解决多水平时间序列预测中的复杂输入问题，这些输入包括静态变量、已知未来输入及仅过往观察到的外生时间序列，且它们与目标变量的交互方式未知。
2024-07-07 15:06:23
641
原创 五十九周：文献阅读+FiLM
目录摘要Abstract文献阅读：用于长时间序列预测的频率改进的勒让德记忆模型一、现有问题二、提出方法三、相关知识1、Legendre Projection（Legendre投影）2、Fourier Transform（傅立叶变换）四、提出的方法（FiLM）1、RevIN：数据标准化块2、 LPU：勒让德投影装置2、FEL: 频率增强层五、研究实验1、数据集2、评估指标3、实验过程4、实验结果六、模型代码实现总结本周阅读的文献《FiLM: Frequency improved Legendre Memory
2024-06-30 11:30:00
1043
原创 五十八周：文献阅读
本周阅读的论文《A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS》提出了一种高效的时间序列预测模型设计，即PatchTST，专门针对多变量时间序列预测及自我监督表示学习任务，是目前基于深度学习的时间序列预测在数据输入创新方向的代表作。该设计围绕两大核心构建：一是将时间序列分割为子序列级别的块（patches），作为Transformer的输入令牌，从而保留局部语义信息；
2024-06-23 14:24:14
931
2
原创 第五十七周：文献阅读
本周阅读的论文《Genetic algorithm‑based hyperparameter optimization of deep learning models for PM2.5 time‑series prediction》介绍了一种创新方法，通过遗传算法(GA)优化深度学习模型的超参数，以提高对空气中PM2.5浓度的预测精度。针对学习率、丢弃率、隐藏层数量及每层单元数、激活函数、损失函数和优化器等关键超参数进行优化，以期达到模型训练的最佳性能。
2024-06-16 12:45:00
755
原创 第五十六周：文献阅读
本周阅读的文献《Interpretable CEEMDAN-FE-LSTM-Transformer Hybrid Model for Predicting Total Phosphorus Concentrations in Surface Water》提出了一种用于预测地表水中总磷(TP)的浓度预测模型CF-LT，该模型融合了完全集成经验模态分解带自适应噪声(CEEMDAN)、模糊熵(FE)、长短期记忆(LSTM)网络与Transformer架构。
2024-06-08 10:46:07
1092
2
原创 第五十五周：文献阅读
本周阅读的文献《A hybrid optimization prediction model for PM2.5 based on VMD anddeep learning》中提出了本文一种新的混合优化预测模型WOA-VMD-BiLSTM模型，预测大气中的PM2.5浓度。该模型结合了鲸鱼优化算法(WOA)、变分模态分解(VMD)和双向长短期记忆神经网络(BiLSTM)。
2024-06-02 10:25:39
626
原创 第五十四周：文献阅读
本周我阅读的文献《A Hybrid Air Quality Prediction Model Based on Empirical Mode Decomposition》中提出了一种新型的混合模型，用于预测多个监测站点的空气质量。该模型主要包含扩展的自回归积分移动平均（ARIMA）模型、经验模态分解（EMD）和截断奇异值分解（SVD）。模型的核心在于扩展ARIMA模型以适应空间数据矩阵，通过EMD处理，模型可以更好地理解和预测数据中的动态变化。
2024-05-25 11:12:31
606
原创 第五十三周：文献阅读
本周我阅读的文献《A Hybrid Air Quality Prediction Model Based on Empirical Mode Decomposition》中提出了一种新型的混合模型，用于预测多个监测站点的空气质量。该模型主要包含扩展的自回归积分移动平均（ARIMA）模型、经验模态分解（EMD）和截断奇异值分解（SVD）。模型的核心在于扩展ARIMA模型以适应空间数据矩阵，通过EMD处理，模型可以更好地理解和预测数据中的动态变化。
2024-05-19 13:00:00
981
原创 第五十二周：文献阅读+STHTNN
本周阅读的文献《Spatiotemporal hierarchical transmit neural network for regional-levelair-quality prediction》中提出了一种时空分层传输神经网络(STHTNN)模型。该模型通过周期特征提取组件(PFEC)和时空依赖提取组件(STEC)分别从原始时间序列中提取长期周期特征和短期时空依赖关系，并使用传输注意力模块(TransATT)将两种特征进行融合，以生成具有长短期交互信息的特征，用于最终的回归预测层。
2024-05-12 13:46:23
832
原创 第五十一周：文献阅读+CNN-LSTM-AM
本周阅读的文献《Urban Water Supply Forecasting Based on CNN-LSTM-AM Spatiotemporal Deep Learning Model》中，提出了一种时空深度学习模型CNN-LSTM-AM。首先通过CNN识别供水系统中的潜在模式结构，自动提取供水数据的空间特征；其次，将贝叶斯算法和AM引入LSTM网络，实现LSTM网络参数的自动选择和对时间序列数据的自主权值分配，突出重要信息的影响。
2024-05-05 16:35:47
1142
原创 第五十周：文献阅读+IGRA-ISSA-LSTM
本周阅读的文献《Water quality prediction based on IGRA‑ISSA‑LSTM model》中，提出了一种新的基于改进的灰色关联分析（IGRA）、改进的麻雀搜索算法（ISSA）和LSTM的混合水质预测模型IGRA-ISSA-LSTM。采用改进的灰色关联分析确定DO、pH、KMnO 4等水质指标之间的相关性，准确分析了预测变量与剩余变量之间的关系，减少数据维度以此避免LSTM维数灾问题。采用改进的麻雀搜索算法提高寻找最优LSTM超参数的能力，提高模型预测精度。
2024-04-28 10:00:00
1844
原创 第四十九周：文献阅读+WaveNet+Adaptive GCN
本周阅读的文献《W-WaveNet: A multi-site water quality prediction model incorporating adaptive graph convolution and CNN-LSTM》中，提出了一个由WaveNet网络、LSTM网络和自适应图卷积网络相结合的多站点水污染预测方法W-WaveNet。其中自适应图卷积模型用于自动学习各站点之间的相关性，WaveNet网络用于提取局部特征，LSTM网络用于建模数据特征依赖关系。
2024-04-19 20:02:58
996
原创 第四十八周：文献阅读+F-GCN
本周阅读的文献《Fourier Graph Convolution Network for Time Series Prediction》中，提出了一种新的鲁棒傅立叶图卷积网络模型来学习具有周期性和波动性模式的时间序列。该模型包括一个傅立叶嵌入模块和一个可堆叠的时空ChebyNet层，其中傅立叶嵌入模块的开发基于傅立叶级数理论的分析，表示具有傅立叶级数的周期函数，该傅立叶级数可以找到最佳系数和最佳频率参数以捕获周期性特征。
2024-04-14 18:37:11
792
原创 第四十七周：文献阅读+ATTREC
本周阅读的文献《W-WaveNet: A multi-site water quality prediction model incorporating adaptive graph convolution and CNN-LSTM》中，提出了一个由WaveNet网络、LSTM网络和自适应图卷积网络相结合的多站点水污染预测方法W-WaveNet。其中自适应图卷积模型用于自动学习各站点之间的相关性，WaveNet网络用于提取局部特征，LSTM网络用于建模数据特征依赖关系。
2024-04-07 18:03:42
646
原创 第四十六周：文献阅读+itransfomer
本周阅读的文献《Inverted Transformers are Effective for Time Series Forecasting》中，提出了一种更利于时间序列预测的转置transformer模型，即iTransformer。文章作者认为Transformer并非不适合于时间序列预测任务，而是没有“正确使用”Transformer。
2024-03-31 15:03:34
842
原创 第四十五周：文献阅读+VMD+BiLSTM+encoder–decoder
本周阅读的文献《Accurate water quality prediction with attention-based bidirectional LSTMand encoder–decoder》中提出了一种结合了变分模式分解（VMD），双向输入注意力机制，具有双向LSTM（BiLSTM）的编码器，以及具有双向时间注意力机制和BiLSTM的解码器的混合预测方法VBAED，用来预测水质时间序列。
2024-03-24 20:47:57
1175
原创 第四十四周：文献阅读 + SG滤波+基于LSTM的编码器-解码器
本周阅读的文献《Large-scale water quality prediction with integrated deep neural network》，提出了一种基于长短期记忆的编码器-解码器神经网络和Savitzky-Golay滤波器的混合模型。其中Savitzky-Golay滤波可以消除水质时间序列中的潜在噪声，并且在去噪过程中可以很好保留数据的有效信息（特征）。
2024-03-17 19:07:24
1013
原创 第四十三周：文献阅读+ARIMA时间序列模型
本周阅读的文献《Stock Price Correlation Coefficient Prediction with ARIMA-LSTM Hybrid Model》中，提出了一个ARIMA和神经网络LSTM的混合模型，用以预测两支股的股价相关系数。其中ARIMA模型能够过滤数据中的线性趋势，LSTM能够进一步增强了其长期预测特性，因此该混合模型可以同时捕获线性和非线性特性，具有多功能预测潜力。ARIMA时序模型建模过程中，首先要对数据进行平稳性检验，通过差分将数据转变为平稳数据，判断。
2024-03-11 13:00:45
1123
原创 第四十二周：文献阅读+机器学习方法
本周阅读的文献中提出了一种基于趋势分量和随机增量特征的ARIMA模型与K-means聚类模型相结合的水质预测方法，将ARIMA模型与聚类模型相结合，可以弥补单一ARIMA模型的不足。通过聚类分析发现可能存在的影响因素，提高对于具有随机特征的数据预测精度。文献中用到的两种机器学习方法，一是AR模型和MA模型结合的ARIMA模型，能够利用数据本身的历史信息来预测未来，二是K-means聚类分析方法，能够把相似的数据样本分到一组（簇）。最后总结了机器学习的四大类，以及监督学习和无监督学习的经典算法。
2024-02-03 18:55:26
851
原创 第四十一周：文献阅读+GAN存在的问题和改进
在本周阅读的文献中，提出了基于Transformer的GAN模型，GAN的生成器和鉴别器，都是基于Transformer的编码器架构构建的，通过处理图像的方式处理时间序列数据作为该模型的输入。该模型能够生成各种长度的多维时间序列数据，对原始信号模式和二维数据点分布的可视化比较显示了原始数据和合成数据的相似性。原始GAN的优化主要在于最小化真实分布和生成分布之间的js散度，而JS散度因其没有重叠则值不变的特性，导致GAN的优化存在梯度下降等问题。
2024-01-28 15:25:15
1201
原创 第四十周：文献阅读+GAN
本周阅读的文献，提出了一种结合离散小波变换(DWT)和主成分分析(PCA)预处理技术的混合长短期记忆模型。其中采用DWT法消除需水量序列的噪声成分，采用主成分分析方法选择需水量影响因子中的主成分。此外，建立了两个LSTM网络，利用DWT和PCA技术的结果进行城市日需水量预测。最后通过与其他基准预测模型的比较，证明了该模型的优越性。GAN中主要包括生成器和辨别器，其中生成器对应于深度学习中的生成模型，而辨别器对应于分类模型，两者相互对抗而不断优化。
2024-01-21 17:40:35
1083
原创 第三十九周：文献阅读+Transformer
这周阅读的文献，提出了一种CNN-LSTM组合模型，用于对水质溶解氧数据进行预测。CNN提取的数据特征可以存储在LSTM中进行长期记忆，突出了这些数据特征在预测过程中的作用，从而提高了模型的准确性。通过与基础LSTM模型进行对比试验，可以看出CNN-LSTM具有更强的鲁棒性预测性能。Transformer模型也是一个 Seq2Seq 模型（Encoder-Decoder 框架的模型），通过编码器把输入读进去，再由解码器得到输出。
2024-01-14 13:13:27
978
原创 第三十八周周报：文献阅读 +BILSTM+GRU+Seq2seq
本周阅读的文献，提出了一种基于XGBoost和LSTM算法的城市洪泛区洪水模拟耦合模型，该模型强调降雨和雨后洪水的全过程，利用降雨数据构，通过XGBoost算法构建非时间序列回归模型来模拟和预报洪水深度，降雨后，通过LSTM算法利用时间序列原理，在降雨后进行持续预测。有效的预测洪水深度，解决了雨后洪水深度预测问题。双向LSTM通过两层LSTM可以提供更丰富的上下文信息，将前向和后向的输出进行拼接得到最终结果，可以获得更全面的序列信息。
2024-01-07 17:13:49
1132
原创 第三十七周周报：文献阅读+掩码、多头注意力机制+位置编码
在本周阅读的文献中，将地震预测看作是一个时间序列分析问题，提出了一种基于注意力的LSTM网络，用于预测即将发生的大地震的时间、震级和位置。其中LSTM用于学习时间关系，注意机制从输入特征中提取重要的模式和信息。掩码自注意力能够解决传统自注意力在做预测和生成任务时存在泄露信息的问题，多头自注意力能够处理多个关注点的问题，可以较好地处理复杂语义关系，在预测任务中，能够明确结果是根据哪一属性判断得出。而掩码多头自注意力是Transformer中的关键模块，能够在掩码的基础上来实现并行训练。
2024-01-01 19:34:18
1011
原创 第三十六周：文献阅读+注意力/自注意力机制
这周阅读的文献提出了一种自适应自我注意长短期记忆(SA-LSTM)预测模型，用于预测锂离子电池的剩余使用寿命(RUL)。结合了LSTM和SA的优点，在基于LSTM的时间序列预测模型中引入掩面多头自注意模块，捕获序列中的关键信息，提高预测性能。注意力机制主要是引入了注意力机制这个概念，借助查询者Q找到权重。自注意力机制主要是根据两两之间的关系来引入权重，在通道、空间两个层面，通过计算每个单元通道与通道之间、像素点与像素点之间的值，来加强两两之间的联系，进而提高精确度语义分割。
2023-12-24 19:30:23
1545
原创 第三十五周：文献阅读+Self-attention
AT-LSTM比LSTM模型预测更加准确。因为注意力机制根据隐藏相关特征的不同重要性级别，为神经网络的隐含层元素分配相应的权重。因此，在LSTM模型相同的参数下，AT-LSTM模型可以更好地拟合DO的真实值，减小预测误差，提高模型的准确性。AT-LSTM模型比LSTM模型表现出更好的预测和更强的泛化能力。AT-LSTM模型在多元时间序列的预测性能上比传统LSTM模型更具优势，这再次说明注意力机制可以提高 AT-LSTM 模型在多元时间序列预测中的有效性和准确性。
2023-12-17 15:40:46
968
原创 第三十四周：文献阅读+LSTM学习
这周学习了RNN以及LSTM，不同于以往CNN等结构，RNN在全连接网络上加上了记忆功能，基础的神经网络只是在层与层之间建立了权值连接，而RNN在层之间的神经元之间也建立了权值连接，它能够处理序列变化的数据。而LSTM又在RNN的基础上加上了记忆定义的概念，在RNN中只会针对比较短的序列进行操作，而比较长的序列一般使用LSTM，LSTM适合处理序列中间间隔和延迟相对较长的问题，解决在长序列训练过程中梯度消失的问题，例如聊天机器人、语音识别等。
2023-12-10 12:24:29
1153
原创 第三十三学习周报：文献阅读+LSTM变体+RNN
本周阅读的文献中首次提出ConvLSTM，ConvLSTM同时拥有LSTM的时间序列处理能力和CNN的空间特征处理能力，同时它也是FC-LSTM的扩展，解决了FC-LSTM对于空间数据包含太多的冗余的问题。通过叠加多个ConvLSTM层并形成一个编码-预测结构，可用于处理如降雨天气预报等时空序列问题。RNN是一种有记忆力的神经元，它能挖掘数据中的时序信息以及语义信息。
2023-12-03 13:02:19
951
原创 第三十二周：文献阅读+RNN+SVM
本周阅读的文献是关于递归神经网络预测水体浊度的鲁棒性研究，该文献研究的重点是使用鲁棒深度学习模型来分析时间序列数据，以预测库区浊度的水质。本文的新颖之处在于使用了两个神经网络系统，一个人工神经网络系统用于常规无雨时间，RNN2系统用于子程序即当考虑下雨时间。利用光学波段构建回归函数监测水体浊度，然后利用递归神经网络(RNN2)模型对时间序列浊度数据进行分析。根据使用数据、预测水平和训练时间的准确性来比较所选模型的准确性。
2023-11-26 16:03:27
1063
原创 第三十一周：文献阅读+SVM模型+CNN反向传播
本周阅读的文献从环境噪声水平的时序预测出发，对SVM和ARIMA模型进行了比较，选择出更适合的时间序列方法。通过实验对比，SVM模型因其具有的极大边际概念、十倍交叉验证和对非线性的适应性，因此在时序预测方面优于ARIMA模型。SVM是一类按监督学习方式对数据进行二元分类的广义线性分类器，利用画出来的超平面可以很好地区分两个类别。通过拉格朗日对偶性和KKT条件推导出SVM的超平面计算，并将其计算原理应用到实例。
2023-11-19 19:22:43
151
1
原创 第三十周学习周报：文献阅读+CNN
本周阅读的文献中提出了一种基于趋势分量和随机增量特征的ARIMA模型与聚类模型相结合的水质预测方法，将ARIMA模型与聚类模型相结合，可以弥补ARIMA模型的不足，提高对于具有随机特征的数据预测精度。对于文献相关知识，分析时序数据以及时序模型，了解机器学习在时序预测上的弊端，从AR模型和MA模型出发学习ARIMA模型。此外，通过CNN的正向传播的过程理解卷积池化原理和计算方式。因为时间序列数据的严格顺序性，以及数据之间的相关性，机器学习模型不能用来做时间序列数据的预测，因此需要用到时序模型。
2023-11-12 19:14:09
141
原创 第二十九周：文献阅读+机器学习
本周阅读的文献中提出了一种相互适应的群体深度学习框架，不同于深度互学习中模型间互相学习，该框架是通过选择一个最优原型模型，使深度学习模型能够从原型模型中学习以进行时间序列预测。通过深度网络原理，推导出要实现同样功能时，使用浅层网络比深层网络需要更多的参数，因此模型更容易过拟合并且需要更多的数据。适量增加深度，深度学习效果可以更好，其参数量可以更少。
2023-11-05 20:05:22
44
原创 第二十八周：文献阅读+机器学习
本周阅读的文献中提出了基于TensorFlow深度学习框架，搭建AR模型和LSTM模型对水文时间序列进行模拟与预测。AR模型良好的自回归性可以解决水文时间序列中数据量大、迭代频繁以及参数复杂等问题，而LSTM模型则可以提高预测和仿真的精度，根据设置实验的预测和模拟结果证明了该方法的可行性。在训练神经网络时，需要利用正向传播计算损失值，利用反向传播给出的梯度来更新模型参数，通过这两种传播的计算推导更好了解训练的原理。此外，学习常见的激活函数以及适用范围，为不同神经元选择合适的激活函数以得到理想的输出。
2023-10-29 13:05:34
64
原创 第二十七周周报：文献阅读+逻辑回归
我这周阅读了一篇题目为《Application of fuzzy time series models for forecasting pollution concentrations》的文献，该文献提出了使用模糊时间序列模型预测空气污染浓度，将时间序列数据转换为模糊数以达到更好的预测效果。这周学习了吴恩达机器学习中的逻辑回归部分，包括模型的函数构建、决策边界、代价函数、梯度下降推导。除此之外还了解了回归模型中的过拟合问题，学习了用于解决过拟合问题的正则化方法，以及该方法在逻辑回归上的应用。
2023-10-22 16:13:11
345
原创 第二十六周：文献阅读+机器学习+TensorBoard
本周我阅读了一篇题为《Fuzzy time-series prediction model based on text features and network features》的文献，该提出一种用于时间序列预测的傅里叶图卷积网络，用以解决无法捕获周期性、提高鲁棒性等问题。对于傅里叶的知识进行了补充学习，推导了傅里叶级数的公式原理，通过拉普拉斯矩阵实现在图信号上的傅里叶变换。除此之外，本周对Tensorflow的可视化工具Tensorboard进行了初步学习。
2023-10-15 20:07:33
174
原创 第二十五周学习周报：文献阅读+机器学习
这周我阅读一篇关于基于粒度的时间序列预测的文献，该文献提供一种可解释的时间序列预测模型，以抵抗时间序列数据内部的干扰。我从研究背景、研究目的、以及研究思路等方面对这篇文献进行分析，了解文献中提出的模型方法。在机器学习方面，我这周学习了线性回归中的多线性回归模型，着重于学习了求解最优参数的两种方法，分别为梯度下降和正规方程，以及批次量和学习率这两个影响优化过程的参数。问题描述表达式描述表达式单变量线性回归只含有一个特征/输入变量一元一次表达式多变量线性回归含有多个特征/输入变量多元一次函数。
2023-10-08 20:27:42
200
原创 第二十四周周报：文献阅读+监督学习之回归和分类
这周阅读了一篇关于水文的时间序列以及多时间尺度特征的论文，该文献提出了一种新颖而详细的，用以推进和丰富水文气候背景下的调查方法框架。我首先对文献中提出的时间序列以及多尺度等前提知识进行学习了解，然后从研究背景、目的、方法、思路等方面对文献进行分析理解。除了文献阅读之外，我这周继续学习机器学习，重新学习监督学习中的分类和回归问题，对这两种问题用到的线性回归和逻辑回归从数学理论方面进行学习。
2023-10-01 17:49:07
197
原创 第二十三周：文献阅读+机器学习
这周学习了自监督学习中的Auto-Encoder（自编码器），自编码器其实也是一种神经网络，它的输入和输出是一致的，目标是使用稀疏的高阶特征重新组合来重构自己。通过视频和自主查找资料学习，了解自编码器的概念和原理，其中最主要的是如何做数据降维。除此之外还有自编码器的几种变形，例如降噪自编码器。通过视频学习大概了解自编码器是如何做压缩、特征解耦、异常检测应用，然后通过代码搭建自编码器的网络结构，并阅读量一篇关于通过自编码器做情感分析的文献，进一步了解自编码器的实际应用，并培养阅读文献的习惯。
2023-09-24 16:03:01
229
原创 第二十二周：文献阅读+机器学习
这周阅读了一篇关于深度学习和多任务学习的CNN-LSTM水文模型的文献，该文献主要提出通过耦合二维CNN和LSTM 并引入多任务学习，开发基于时空深度学习的水文模型来克服深度学习在水文建模方面缺陷。从研究背景、研究模型、研究思路和研究意义等方面对该文献进行阅读和分析。通过pytorch实现CNN-LSTM模型，了解模型的结构和搭建过程。除此之外，本周继续学习了机器学习的自监督学习中的BERT模型。
2023-09-17 19:45:14
107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人