- 博客(56)
- 收藏
- 关注
RSS订阅原创 2024/6/23周报
本周阅读的文献《W-WaveNet: A multi-site water quality prediction model incorporating adaptive graph convolution and CNN-LSTM》中，提出了一个由WaveNet网络、LSTM网络和自适应图卷积网络相结合的多站点水污染预测方法W-WaveNet。其中自适应图卷积模型用于自动学习各站点之间的相关性，WaveNet网络用于提取局部特征，LSTM网络用于建模数据特征依赖关系。
2024-06-22 19:02:39
206
原创 2024/6/16周报
本周阅读了一篇基于注意力图神经网络的污染物传输建模与源属性的文章，文中作者引入了一种新的基于注意力的图神经网络（aGNN），用于利用有限的监测数据对污染物传输进行建模，并量化污染物源（驱动因素）及其传播（结果）之间的因果关系。在涉及异质含水层中不同监测网络的五个合成案例研究中，aGNN在多步预测中表现优于基于LSTM（长短期记忆）和基于CNN（卷积神经网络）的方法。基于aGNN的解释性分析量化了每个污染源的影响，这已经通过基于物理的模型进行了验证，结果一致，R2值超过92%。此外，还对文章的代码进行复现。
2024-06-16 20:28:06
1023
原创 2024/6/9周报
本周阅读了题为Large-scale water quality prediction with integrated deep neural network的论文。这项工作提出了一种基于长期短期记忆的编码器-解码器神经网络和 Savitzky-Golay 滤波器的混合模型。其中，Savitzky-Golay滤波器可以消除水质时间序列中的潜在噪声，长短期记忆可以研究复杂水环境中的非线性特性。这样就提出了一个集成模型并有效地获得了统计特征。基于真实数据的实验证明，其预测性能优于几个最先进的同行。This we
2024-06-09 17:41:29
796
原创 2024/6/2周报
本周阅读了一篇基于多时间嵌入的混合注意机制的顺序推荐的文章，为了解决以前模型的局限性，文章提出了MEANTIME（混合的Attention机制与多时间嵌入），它采用多种类型的时间嵌入，旨在捕捉各种模式，从用户的行为序列，和一个注意力结构，充分利用这种多样性。此外，还对self-attention的内容进行进一步的补充学习、复习。本周学习了transformer中的核心机制self-attention并进行手动模拟推导，这有利于进一步理解transformer。
2024-06-02 19:38:07
746
原创 2024/5/26周报
日光温室为我国北方反季节作物的生产提供了有利的气候环境。温室温湿度是影响作物生长发育的重要环境因子，因此，对温室温湿度的预测至关重要。在这项研究中，我们构建了一个前馈注意机制-长短期记忆（FAM-LSTM）模型，用于日光温室温度和湿度的多步预测。FAM-LSTM模型考虑了影响作物生长的内部和外部环境因素，这些因素包括温度、湿度、光照、土壤温度和土壤湿度。然后，我们进行了相应的实验，使用该模型在12，24，36和48小时的预测层温度和湿度的预测。与其他模型相比，FAM-LSTM模型因其高精度而脱颖而出。
2024-05-26 18:03:09
830
原创 2024/5/19周报
本周阅读的文献，提出了一种结合离散小波变换(DWT)和主成分分析(PCA)预处理技术的混合长短期记忆模型。其中采用DWT法消除需水量序列的噪声成分，采用主成分分析方法选择需水量影响因子中的主成分。此外，建立了两个LSTM网络，利用DWT和PCA技术的结果进行城市日需水量预测。最后通过与其他基准预测模型的比较，证明了该模型的优越性。GAN中主要包括生成器和辨别器，其中生成器对应于深度学习中的生成模型，而辨别器对应于分类模型，两者相互对抗而不断优化。
2024-05-17 23:09:22
856
原创 2024/5/12周报
本周阅读了一篇基于LSTM-Autoencoder模型的多任务空气质量预测的文章，文章提出了一种长短期记忆（LSTM）自编码器多任务学习模型，用于预测城市多个地点的PM2.5时间序列。该模型能够隐式地、自动地挖掘不同站点污染物之间的内在关联性，并充分利用监测站的气象信息来提高性能。此外，还对self-attention进行学习和代码实现。self-attention需要的参数少，相比于 CNN、RNN ，其复杂度更小，参数也更少。所以对算力的要求也就更小。
2024-05-12 11:08:37
921
原创 2024/5/5周报
本周阅读的文献中提出了一种基于趋势分量和随机增量特征的ARIMA模型与K-means聚类模型相结合的水质预测方法，将ARIMA模型与聚类模型相结合，可以弥补单一ARIMA模型的不足。通过聚类分析发现可能存在的影响因素，提高对于具有随机特征的数据预测精度。文献中用到的两种机器学习方法，一是AR模型和MA模型结合的ARIMA模型，能够利用数据本身的历史信息来预测未来，二是K-means聚类分析方法，能够把相似的数据样本分到一组（簇）。最后实现ARIME的代码以及对上周自注意力机智的位置编码内容进行补充学习。
2024-05-05 17:33:29
810
原创 2024/4/28周报
本周阅读了一篇基于注意力的LSTM网络在大地震预测中的应用的文章，文章研究了一种基于注意力的LSTM网络，用于预测即将发生的大地震的时间、震级和位置。使用MSE、RMSE、MAE、R-squared和准确度等指标检查结果。与其他经验场景和选定的基线方法相比，提出的模型的性能结果明显更好。多头自注意力能够处理多个关注点的问题，可以较好地处理复杂语义关系，在预测任务中，能够明确结果是根据哪一属性判断得出。而掩码多头自注意力是Transformer中的关键模块，能够在掩码的基础上来实现并行训练。
2024-04-28 18:19:55
753
原创 2024/4/21周报
本周阅读了一篇基于CNN-LSTM黄金价格时间序列预测模型的文章，文中提出了一种新的深度学习预测模型，用于准确预测黄金价格和走势。该模型利用卷积层提取有用知识和学习时间序列数据内部表示的能力，以及长短期记忆（LSTM）层识别短期和长期依赖关系的有效性。实验分析表明，利用LSTM层沿着额外的卷积层可以显著提高预测性能。此外，还使用LSTM以及GRU模型进行时间预测训练，并进行对比。定义GRU以及LSTM模型。
2024-04-21 14:19:57
978
原创 2024/4/14周报
本周阅读了一篇以跨尺度注意力为基础的通用视觉Transformer器的文章，文中提出了跨尺度嵌入层（CEL）和长短距离注意（LSDA）。不仅减少了计算负担，而且在嵌入中同时保留了小尺度和大尺度特征。通过以上两种设计，实现了跨尺度注意。大量的实验表明，CrossFormer在图像分类、对象检测、实例分割和语义分割任务上优于其他视觉转换器。此外，对CrossFormer进行更近一步的学习。
2024-04-14 17:24:42
1033
原创 2024/4/7周报
用于统计机器翻译的RNN编码器-解码器学习短语表示文中提出了一种新的神经网络模型称为RNN编码器-解码器，由两个递归神经网络（RNN）构成。一个RNN将符号序列编码为固定长度的向量表示，另一个将表示解码为另一个符号序列。通过使用由RNN编码器-解码器计算的短语对的条件概率作为现有对数线性模型中的附加特征，使得统计机器翻译系统的性能得到改善。
2024-04-07 11:41:37
581
原创 2024/3/31周报
本周阅读了一篇基于时间与非时间序列模型耦合来模拟城市内涝区洪水水深的文章，文中提出了一种极值梯度提升和长短记忆算法的耦合模型。通过对郑州市三个典型的洪水点的实际应用，结果表明，该耦合模型能较好地拟合和预报洪水。验证数据的平均相对误差、Nash-Sutcliffe效率系数和合格率的平均值分别为9.13%、0.96和90.3%。此外，还对文中用到的Boosting算法的相关内容进行补充学习，Boosting是有关提升、增强的算法。
2024-03-31 12:26:58
935
原创 2024/3/24周报
本研究旨在开发一个长短期记忆（LSTM）网络及其基于注意力的（AT-LSTM）模型，以实现对澳大利亚伯内特河水质的预测。本文利用LSTM和AT-LSTM模型对伯内特河溶解氧进行了一步预报和多步预报，并对预报结果进行了比较。研究结果表明，包含注意力机制提高了LSTM模型的预测性能。因此，本研究中开发的基于AT-LSTM的水质预测模型证明了其比LSTM模型更强的能力，可为澳大利亚昆士兰州的水质改善计划提供信息，以准确预测伯内特河的水质。基于LSTM和注意机制的水质预测–以澳大利亚Burnett河为例。
2024-03-24 12:39:12
683
原创 2024/3/17周报
本周阅读了Transformer的开山之作《Attention Is All You Need》。Transformer完全基于注意力机制，完全免除了递归和卷积。在两个机器翻译任务上的实验表明，Transformer模型在质量上是上级的，同时具有更好的并行性，并且训练时间也更少。此外，还对Transformer模型的原理进行了深入学习和研究。Transformer的优势在于它能够并行计算，从而大大提高了训练和推理的效率。
2024-03-16 15:39:35
732
原创 2024/3/10周报
本周阅读了一篇关于基于YOLO和深度模糊LSTM网络的篮球动作识别的论文，文章中作者使用YOLO模型检测球员动作，使用LSTM和模糊层的组合用于执行最终分类，该模型的优越性在SpaceJam和Basketball-51数据集上进行了验证。此外，还对模糊逻辑系统进行进一步的补充学习。人工神经网络具有较强的自学习和联想功能能力，人工干预少，精度较高，对专家知识的利用也较好；而模糊计算的特点有推理过程容易理解、专家知识利用较好、对样本的要求较低等。二者结合，有时能得到意想不到的好处。
2024-03-08 15:48:42
828
1
原创 2024/1/28周报
本周阅读了一篇基于深度长短期记忆的农产品价格预测模型的文章，文章提出了一种基于深度长短期记忆（DLSTM）的模型。DLSTM模型同时利用递归架构和深度学习方法，在捕获非线性和易失性模式方面具有优势。利用国际玉米和棕榈油月度价格序列，比较了DLSTM模型与传统时延神经网络（TDNN）和ARIMA模型的价格预测能力。实证结果表明，开发的DLSTM模型优于其他模型的各种预测评价标准，在预测这些月度价格序列的方向变化方面也显示出优于其他模型的优势。此外还对attention机制进行理论学习和代码实现。
2024-01-27 20:17:40
960
原创 2024/1/21周报
本周阅读了一篇基于LSTM的深度学习模型用于长期旅游需求预测的文章，作者所提出的预测模型是基于长短期记忆网络（LSTM），它能够整合来自外生变量的数据。通过希腊三家酒店真实的数据的评估，结果表明，与所有三家酒店的知名国家的最先进的方法相比，所提出的模型的上级预测性能。此外，还对GRU进行推导和代码实现。本周对GRU的数学原理进行推导和补充学习，GRU也是基于RNN结构，并对LSTM进行简化。值得注意的是，GRU和LSTM适用于不同的场景，GRU训练速度要快于LSTM。
2024-01-21 15:37:24
842
原创 2024/1/14周报
本周阅读了一篇基于CEEMDAN-LSTM的金融时间序列预测模型的文章，文中提出了一种基于自适应噪声的完全集成经验模式分解（CEMDAN）和长短期记忆（LSTM）网络的金融时间序列预测模型，经过CEEMDAN分解、小波阈值去噪和重构，得到去噪后的信号。使用去噪信号代替原始信号作为LSTM网络的输入，可以获得更准确的最终预测结果，此外还对GRU的理论内容进行进一步的学习。GRU是LSTM的简化轻量版，训练速度快于LSTM，但并不意味着任何场景都优于LSTM，还要具体问题具体分析。
2024-01-13 16:15:38
1009
原创 2024/1/7周报
本周阅读了一篇基于多时间嵌入的混合注意机制的顺序推荐的文章，为了解决以前模型的局限性，文章提出了MEANTIME（混合的Attention机制与多时间嵌入），它采用多种类型的时间嵌入，旨在捕捉各种模式，从用户的行为序列，和一个注意力结构，充分利用这种多样性。此外，还对self-attention的内容进行进一步的补充学习、复习。本周继续学习了transformer中的核心机制self-attention并进行手动模拟推导，这有利于进一步理解transformer。
2024-01-05 21:45:18
811
原创 2023/12/31周报
本周阅读了一篇关于时序预测在汇率中的应用的文章，作者混合使用多种非线性模型，还调整了自回归积分移动平均（ARIMA）和自回归分数积分移动平均（ARFIMA）模型，用多种误差指标分析结果，结果表明，混合神经网络模型优于其他方法来预测汇率。此外，还对self-attention等内容进行复习和代码实现。自注意力机制是注意力机制的变体，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。自注意力机制在文本中的应用，主要是通过计算单词间的互相影响，来解决长距离依赖问题。
2023-12-30 11:41:58
1000
原创 2023/12/24周报
本周阅读了一篇关于降水序列预测的论文，文中制定了降水临近预报的时空序列预测问题，其中输入和预测目标都是时空序列，通过扩展完全连接的LSTM（FC-LSTM），使其在输入到状态和状态到状态的转换中都具有卷积结构，提出了卷积LSTM。最后对卷积LSTM理论进行学习，并使用代码实现卷积LSTM。
2023-12-24 15:24:45
932
原创 2023/12/17周报
本周阅读了一篇关于注意力机制相关的文章，文中提到了现有的方法都没有明确考虑用户当前行为对其下一步行动的影响。于是，论文中提出了一种新的短期注意力优先级模型作为补救措施，该模型能够从会话上下文的长期记忆中捕获用户的一般兴趣，同时考虑到用户最近点击的短期记忆中的当前兴趣。此外attention的相关内容进行进一步的学习。注意力机制类似于人类的视觉注意力机制，通过扫描全局图像，获取需要重点关注的目标区域，忽视其他无关信息是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题。
2023-12-17 16:46:10
30
原创 2023/12/10周报
本周阅读了一篇关于循环神经网络的论文，论文中提出了一种新的循环神经网络架构，它使得同一层中的神经元彼此独立，并且可以跨层连接。文中的IndRNN可以很容易被调节，以防止梯度爆炸和梯度消失的问题，同时网络可以学习长期依赖性的任务，并且还可以堆叠多个IndRNN，以构建比现有RNN更深的网络。此外，还继续对LSTM进行推导和代码学习。本周对RNN及LSTM等知识进行复习和进一步的学习，下周将对时序模型的文章作进一步的阅读。
2023-12-09 14:33:23
59
原创 2023/12/3周报
本周阅读了一篇关于循环神经网络的论文，论文旨在探索将RNN扩展到深度RNN的不同方法。论文通过对RNN结构的理解和分析，发现从三个方面入手可以使网络变得更深， 输入到隐含函数，隐含到隐含转换函数以及隐含到输出函数。基于此类观察结果，论文提出了几种新颖的深度RNN结构，并通过实验验证了深度RNN优于传统的浅层RNN。
2023-12-03 18:46:29
35
原创 2023/11/26周报 SVM 1
本周阅读了一篇基于 SVM 的低空飞行冲突探测改进模型的论文，开始对SVM分类方法进行学习，在SVM的基础上，对其进行改进，在低空飞行冲突探测中能得到更好的效果。在深度学习上，了解SVM的基本特点，以及如何进行求解超平面。本周是对SVM进行了初步的学习，下周从SVM的核函数部分开始学习，将SVM应用于非线性数据集。
2023-12-03 18:05:16
55
原创 2023/11/26周报
为了解决金融预测中过度拟合的限制，文章提出了一种新的深度迁移学习框架（ADA-FTSF），该框架结合了对抗性领域自适应，用于金融TSF任务。以提高深度预测模型的可靠性、准确性和竞争力，文中实现了一个典型的对抗域自适应架构，来转移特征知识，减少金融数据集之间的分布差异。为了减少预训练过程中的形状差异，在对抗训练阶段巧妙地引入了动态时间规整（DTW）的平滑公式来衡量形状损失。基于通过Copula熵计算转移熵的时间因果发现方法来选择适当的源数据集，这对预测性能很大影响。
2023-11-26 17:05:39
53
原创 2023/11/19周报
本周阅读了一篇应用于金融时间序列预测的文章，文章使用具有对抗域自适应的新型深度迁移学习框架，提高了金融预测的准确率。此外，还对LSTM的一些理论知识进行复习，进一步理解了LSTM的概念。本周学习了LSTM的一些理论，下周将继续对LSTM时序模型的相关论文进行阅读和学习。
2023-11-19 21:42:30
76
原创 2023/11/12周报
本周阅读了一篇基于深度学习时间序列分析的北方红河水位预测模型的文章，文章通过季节性自回归积分移动平均、随机森林、长短期记忆等方法对水位进行预测，有效减少洪水带来的破坏和经济损失。此外，还深入学习了CNN的原理。CNN通过卷积和池化等操作,逐步减小图像尺寸,从而大大减少了参数量。本周阅读了一篇基于深度学习时间序列分析的北方红河水位预测模型的文章，对时序模型进行了进一步的学习。
2023-11-12 14:46:50
83
原创 2023/11/5周报
本周阅读了一篇基于多输出学习的深度神经网络空气污染时间序列预测的文章，文中使用多输入多输出的学习方法，使用MConvLSTM模型，减少了训练周期和参数的数量。此外还对self-attention和transformer模型进行了复习。本周学习了一篇基于多输出学习的深度神经网络空气污染时间序列预测的文章，对时序序列模型进行初步接触，并对self-attention进行了复习，下周继续学习时序模型和流体力学内容。
2023-11-03 22:57:48
121
原创 2023/10/29周报
本周阅读了一篇基于LSTM的股票预测模型的文章，对比基本分析法、技术分析法、演化分析法等旧方法，使用LSTM预测短期股票价格波动的正确率达到72%。之后继续学习了分类任务以及常用的训练模型和方法。生成模型适用于训练集数据较少的情形，并非完全落后于逻辑回归。
2023-10-29 19:25:37
35
原创 2023/10/22周报
本周阅读了一篇基于LSTM-CTC的语音识别模型的文章，文章中将LSTM和CTC相结合，提高了训练的准确率、节省了训练时长。同时，我对LSTM相关内容进行补充学习，进一步了解了LSTM的本质。
2023-10-22 20:56:11
41
原创 2023/10/8周报 LSTM+张量基础
本周学习了一篇基于LSTM-RNN的锂电池剩余寿命预测技术的文章，使用LSTM-RNN的准确率比SVM提高了很多，然后对张量的一些基础概念进行学习入门，学习张量要多类比微积分的方法。多重线性：指的是对自变量每个分量的作用都具有线性性。本周对LSTM RNN进行学习，并对张量的一些基础进行学习，下周将对以上内容进一步完善学习。
2023-10-08 10:11:01
83
原创 2023/10/1周报 CNN+生成、判别
本周阅读了一篇关于手写识别CNN的文章，文中使用级联CNN的方法，使得手写识别的准确率进一步提高。然后对分类任务使用的生成模型、判别模型进行学习，通过这些学习，进一步加深对分类任务的理解。本周完成对CNN的基础学习，下周将开展有关RNN和LSTM的论文阅读以及相关学习。
2023-09-30 14:25:05
111
原创 2023/9/17周报 CNN
本周阅读了Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton三人2012年在《Advances in neural information processing systems》上发表的关于CNN的经典论文。文中使用了很多在当时来说十分先进的方法，例如使用Relu激活函数代替tanh函数、sigmoid函数，采用Dropout正则化可以减少过拟合等等。
2023-09-17 17:53:26
88
原创 2023/9/10周报 PM2.5预测
本周阅读了一篇关于预测PM2.5模型的文章，文章创造性的使用BiLSTM+VMD分解混合的深度学习模型较为准确的对PM2.5的值进行预测，与其它现有模型进行比较，BiLSTM+VMD模型比起只使用LSTM或者EMD分解信号的模型的性能要更加优秀。PM2.5浓度是环境科学中评价空气质量的重要指标之一。PM2.5指数的严重程度直接影响公众健康、经济和社会发展。由于空气质量的强非线性和不稳定性，很难预测PM2.5随时间的波动变化。
2023-09-10 20:14:13
104
1
原创 2023/9/3周报 GNN
GNN是指基于图的神经网络，它是一种特殊的深度学习模型，主要用于处理具有复杂结构的数据。它使用神经网络来处理具有复杂结构的数据，比如图形、文本和时序等。GNN可以将具有复杂结构的数据转换为有用的特征，从而为模型的训练提供有用的信息。本周对GNN进行初步的学习，学习GNN的一些应用以及模型。重点关注了GNN背后的一些数学原理，例如傅里叶级数、傅里叶变换等等。GNN是非常强大的工具,已经在路线规划、欺诈检测、网络优化和药物研究等领域得到广泛的应用。
2023-09-03 19:24:45
98
原创 2023/8/27周报 逻辑回归
本周对逻辑回归进行复习，通过逻辑回归预测神奇宝贝比生成模型预测的数值更加准确。逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行分类。其中每一组数据都是由p 个指标构成。生成式模型：学习得到联合概率分布P(X,Y)，然后再求条件概率分布。能够学习数据的生成机制。
2023-08-27 21:44:07
77
1
原创 2023/8/20周报 自监督学习
本周通过对自监督学习的一些案例进行学习从而了解了自监督学习的一些基础概念。自监督学习是无监督学习里面的一种，也被称作pretext task。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。找到合适的辅助任务（pretext）对于自监督学习是最需要解决的问题。与数据特点相比，辅助任务难一些有助于性能提升。数据和资源越多，自监督预训练的效果会更好（Bert）。
2023-08-20 19:55:06
60
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人