自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(51)
  • 收藏
  • 关注

原创 4.30学习周报

本周阅读文献《Water Quality Prediction Based on LSTM and Attention Mechanism: A Case Study of the Burnett River, Australia》,文献主要提出了基于注意力(AT-LSTM)的模型,以实现水质预测。由于注意力机制通过对每个时间步的隐含层元素进行加权,有效地捕获更远的关键信息,增强重要特征对预测模型的影响。注意力机制在时间序列分析和预测领域也被广泛采用。

2023-04-30 15:55:36 970

原创 4.23学习周报

本周阅读文献《A novel hybrid model for water quality prediction based on synchrosqueezed wavelet transform technique and improved long short-term memory》,文献主要提出一种新型混合模型SWT-ISSA-LSTM,用于水质预测。由于水质参数原始时序数据受其他因素的影响,有一定的噪声干扰,将SWT方法应用于原始数据,进行挤压输出和带通滤波,可以实现数据降噪;

2023-04-24 11:23:22 609

原创 4/16学习周报

本周阅读文献《Real-time probabilistic forecasting of river water quality under data missing situation: Deep learning plus post-processing techniques》,主要采用多元贝叶斯不确定性处理器(MBUP)对深度学习人工神经网络(ANN)的点预测与其相应的观测水质之间的关系进行概率建模,设计了TL-LSTM模型,与LSTM模型对比证明迁移学习算法对更准确的确定性预测的贡献,利用后处理技

2023-04-15 17:42:23 856

原创 学习周报4/9

本周阅读文献《Improving LSTM hydrological modeling with spatiotemporal deep learning and multi-task learning: A case study of three mountainous areas on the Tibetan Plateau》,文章主要基于时空深度学习(DL)即将二维卷积神经网络(CNN)和LSTM耦合的水文模型,并在实际案例中测试所提出的模型,和LSTM模型及进行对比,发现所提出的模型在性能方面会好一

2023-04-09 19:44:20 563

原创 4.2学习周报

本周阅读文献《Forecast Methods for Time Series Data: A Survey》,本文主要对目前时间序列数据建模方法进行分类,主要分为了三类:经典的时序预测方法、机器学习的时序预测模型以及将经典方法和机器学习相结合的混合模型,对不同的方法进行比较;指出时间序列预测的潜在研究方向,主要是三个方面,在数据上可以进行数据预处理提高数据质量,在模型方面对模型进行修正以提高预测能力以及提高并行计算的效率。另外,在阅读文献时了解了一种预测模型叫高斯过程回归,对这个方法进行了初步的学习。

2023-04-02 20:05:47 1223 2

原创 3.26学习周报

本周阅读文献《Simulate the forecast capacity of a complicated water quality model using the long short-term memory approach》,本文主要研究了LSTM模拟复杂水质模型(即环境流体动力学代码,EFDC)预测能力的能力,通过NSE系数评估LSTM性能,并应用随机森林来确定LSTM性能的关键驱动因素。结果表明,许多LSTM可以达到可接受的性能水平。

2023-03-26 17:28:14 1521

原创 学习周报3.19

本周阅读文献《A novel model for water quality prediction caused by non-point sources pollution based on deep learning and feature extraction methods》,文献主要开发了一种新的深度学习模型SOD-VGG-LSTM来提高NPS污染下水质预测的准确性。利用SOD模块计算误差序列,利用VGG模块提取空间特征,以污染物浓度误差序列作为LSTM的输出,用于误差和水质预测。

2023-03-19 18:45:57 270

原创 3.12学习周报

本周阅读文献《Streamflow and rainfall forecasting by two long short-term memory-based models》,文献主要提出两种基于长短时记忆网络的混合模型用于对水流量和降雨量进行预测。小波-LSTM(即WLSTM)模型,应用小波变换的trous算法进行时间序列分解,小波变换将高频和低频提取到不同的子时间序列中,将时间序列分解为更简单的分量,把传统的数据流预测数据驱动模型集成了数据预处理技术来进行预测。

2023-03-12 20:03:13 572

原创 学习周报3.5

本周阅读文献《Multi-step ahead probabilistic forecasting of multiple hydrological》,文献主要提出一种基于三维卷积神经网络、卷积最小门记忆神经网络和变分贝叶斯神经网络的混合深度学习模型(B-CM-C4D),实现多站多水文变量的多步提前概率预测。作者提出了一种时间序列相关性分析方法,分析上下游站点随时间变化的相关性解决到底考虑过去和未来选取多少场景进行预测的问题。

2023-03-05 20:56:11 571

原创 学习周报2.26

本周阅读文献,文献主要研究对比了两种河流日流量预测模型,基于随机森林和多层感知机算法叠加的简单模型以及基于双向长短时记忆网络的复杂模型,通过研究发现两种模型预测能力基本相当。另外,学习了attention机制,通过例子了解attention的计算过程。河流流量的预测是防洪和优化水资源管理的一项基本任务。但由于流域特征,水文过程和气候因素的高不确定性,导致预测过程很困难。本研究对比了两种不同的日流量预测模型:基于随机森林和多层感知机算法叠加的简单模型以及基于双向长短时记忆网络的复杂模型。

2023-02-26 21:02:37 738

原创 元胞自动机

本周阅读文献《Multi-directional temporal convolutional artificial neural network for PM2.5 forecasting with missing values: A deep learning approach 》,文献主要提出了多向时间卷积人工神经网络模型(MTCAN)用来预测PM2.5的污染物浓度,MTCAN多向特性的主要思想是插入PM2.5污染物特征矩阵以估算其值,实验表明所提模型的有效性。另外学习了元胞自动机的相关知识。

2023-02-19 19:39:13 646

原创 支持向量机

本周阅读文献《Pollutant specific optimal deep learning and statistical model building for air quality forecasting》,主要介绍了作者提出了一种对一些重要空气污染物进行长期预测的方法,研究了八个性能最佳的模型,如堆叠LSTM,LSTM自动编码器,Bi-LSTM,convLSTM,Holt-Winters,自回归(AR),SARIMA和Prophet进行对比分析;另外学习了支持向量机的相关知识。

2023-02-12 21:17:30 782

原创 优化方法学习

本周阅读文献《Explore a deep learning multi-output neural network for regional》,主要介绍了作者提出了一种深度多输出LSTM(DM-LSTM)神经网络模型解决空气质量预测问题,该模型结合了三种深度学习算法(即小批量梯度下降、dropout 神经元和L2正则化)缓解时滞现象并解决过拟合问题;另外学习了优化算法,粒子群,蒙特卡洛和马尔可夫。城市区域空气质量的及时预报对于支撑环境至关重要。基于人工智能的模型已广泛应用于空气质量预测。

2023-02-05 18:58:07 200

原创 优化方法1

本周阅读文献《Multi-step solar irradiation prediction based on weather forecast and generative deep learning model》,主要介绍了基于LSTM的深度生成模型,用于未来至少24 h的多步太阳辐照预测;另外学习了蚁群算法,了解了蚁群算法的基本思路和算法步骤。随着计算机技术的飞速发展,越来越多的深度学习模型被用于太阳辐射预测。

2023-01-08 20:48:33 266

原创 自注意力机制

本周阅读了文献《Modeling Long- and Short-Term Temporal Patterns with Deep》主要提出了一种深度学习框架长短期时间序列网络提取变量之间的短期局部依赖模式,发现时间序列趋势的长期模式,然后学习了自注意力机制及其相关代码。多变量时间序列预测是一个跨许多领域的重要机器学习问题,现实中出现的时态数据往往包含长期和短期模式,对于这些模式,自回归模型和高斯过程等传统方法可能会失效。为此,提出了一种新颖的深度学习框架长短期时间序列网络来应对这一挑战。

2023-01-01 20:34:36 352

原创 注意力机制

本周阅读了文献《An Experimental Review on Deep Learning Architectures》主要讲述了在解决时间序列预测问题时常用到的几种深度学习的模型,并进行分析表明长短时记忆和卷积神经网络在处理TSF问题上是最佳选择。然后学习了注意力机制,为什么要有注意力机制以及怎么求权重系数以及常见的评分方法。近年来,深度学习技术在许多机器学习任务中优于传统模型。深度神经网络已经成功地应用于解决时间序列预测问题,因为它们有能力自动学习时间序列中存在的时间依赖性。

2022-12-18 19:17:45 266

原创 LSTM学习

本周阅读文献《Multivariate Air Quality Forecasting With Nested Long Short Term Memory Neural Network》,这篇文献主要提出了一种结合多个嵌套长短期记忆网络的深度学习框架进行AQI预测;然后对LSTM进行学习,主要学习了用代码实现LSTM前向传播的过程。基于人工智能的空气质量指数(AQI)预测是可持续和智能工业环境设计领域的研究热点。

2022-12-11 19:48:05 869

原创 RNN学习

This week,a paper which mainly proposes a hybrid climate learning model (HCLM) that uses climate model CM and deep learning model LSTM to improve rainfall forecasting has been read.In addition, I have learned the Long Short Term Memory neural network and

2022-12-04 21:46:48 149

原创 RNN学习2

本周阅读一篇文献,主要了解到这篇文献中所提到的一种方法, 采用蒙特卡罗 dropout集合预测。然后继续学习RNN的相关知识,掌握了RNN的正反向传播的公式,并用代码实现正反向传播的过程。使用条件深度卷积生成对抗网络来预测欧洲上空 500 hPa 压力水平的地势高度、两米温度和未来 24 小时的总降水量。所提出的模型基于4年的ERA5再分析数据进行训练,目标是预测2019年的相关气象场。

2022-11-27 23:02:34 447

原创 RNN学习

本周阅读了一篇文献《A generative adversarial network approach to (ensemble) weather prediction》,文献主要讲了作者使用了CGAN对欧洲上空500hPa气压水平的地势高度、两米温度和未来24小时的总降水量进行预测。学习了循环神经网络的相关知识,如RNN的种类、梯度消失以及GRU相关知识。作者使用了条件深度卷积生成对抗网络来预测欧洲上空500hPa气压水平的地势高度、两米温度和未来24小时的总降水量。

2022-11-20 21:27:46 425

原创 CNN变体学习2

本周继续阅读上周那篇文献,了解到作者主要是设计了两种深度学习模型,DeepPM模型以及APTR模型(DeepPM模型是基于GRU的,APTR模型是基于transformer)对时间序列问题进行处理,且都表现良好,同时DeepPM模型在长期预测上表现更好。还学习GoogLeNet、Batch Normalization和ResNet,主要学习GoogLeNet和ResNet的模型结构以及模型代码。

2022-11-13 19:40:03 546

原创 CNN变体模型学习

本周,阅读了文章,这篇文章研究提出了一种基于深度学习技术提高数值模型预测有效性的新方法。以及我了解LeNet,AlexNet,VGGNet,以及NIN四种模型及其模型代码的设计。空气质量预测是公共卫生知道和空气污染控制的重要工具。三维数值模型可以代表大气中大多数主要的物理和化学过程。它可以在区域尺度上以高空间和时间分辨率明确反映空气污染物的形成和消散;这是空气质量预测的主流方向。

2022-11-06 20:16:45 533

原创 CNN学习

This week, I mainly read an article that describes the author’s design of an deep learning framework to predict air quality. In addition, I learne CNN’s variant models, mainly LeNet model, and other models which learne about the general content. I will co

2022-10-30 22:44:42 230

原创 CNN学习笔记

本章主要阅读文章,这个文章主要讲述了作者将CNN和LSTM模型以及两者的组合模型应用在预测风暴潮水平中,通过数据对比发现这三个模型在准确率上要远优于其他模型。其次,学习了CNN前向传播和反向传播的具体过程。这部分主要学习卷积层是如何更新参数。风暴潮是最危险的海洋灾难之一,其特点是高变异性和不确定性。SL 预测在降低洪水风险和保护沿海地区人民生命安全和海洋活动中有关键作用。目前,SL预测的主要方法有经验预测(过度依赖个人经验)和数值建模(成本高、耗时长)。

2022-10-23 20:35:45 838

原创 学习笔记第二十四周

本周在文献方面,阅读《通过基于注意力的编码器-解码器框架进行多变量时间序列预测》,主要了解了一些概念,比如多变量时间序列,编码器-解码器,以及本文的主要思想是提出了一种用于多变量时间序列预测的端到端深度学习框架;在代码方面,主要学习CNN的相关知识,了解每层的结果维度如何计算,学习基于MNIST数据集的手写数字识别;在工程方面,安装了VS和SQL server。时间序列预测是研究时态数据行为和预测未来值的重要技术,广泛应用于空气质量预报、电力负荷预报、医疗监测、入侵检测等诸多领域。

2022-10-16 21:35:43 217

原创 学习笔记第二十三周

本周对上周看的文章进行学习和理解,在项目工程上,学习Hadoop运行环境搭建,在代码方面,了解了nn.module这个模块。本周对Hadoop数据部分进行部署,学习一些指令的含义,下周学习Hadoop框架与SQLServer数据库进行互通。

2022-10-09 20:54:55 737

原创 2022机器学习深度学习学习笔记第二十二周

本周学习内容主要由三部分,一是文献阅读,了解了文章的研究内容以及所用到的研究方法;二是大数据相关知识点的学习,了解到什么是Hadoop,及Hadoop的组成,对HDFS、Yarn、MapReduce进行介绍;三是pytorch学习,学习dataset和dataloader的应用。本周阅读文献只是大概了解了在研究什么,下周会深入了解具体做了什么;对大数据项目的基础知识进行学习,下周进行Hadoop数据部分的部署。

2022-09-25 17:39:15 1256

原创 2022机器学习深度学习学习笔记第二十一周

文章目录前言一、Dataset 和 Dataloader概述怎样在torch中构建自己的dataset类?介绍 DataLoader(object) 中的参数含义二、Dataset 和 Dataloader的使用总结前言学习pytorch的Dataset 和 Dataloader ,了解Dataset类 和 Dataloader类的作用;在自定义dataset类时,必须实现三个函数,以及DataLoader每个参数的含义;最后通过代码了解Dataset 和 Dataloader具体是如何获取和加载数据

2022-09-18 16:29:51 1659

原创 2022李宏毅机器学习深度学习学习笔记第二十周

输入是一个序列,输出也是一个序列,但是输出的长度取决于机器。GPU的加入,使得更稳的大Batch策略摆脱了性能的束缚,但是因其太过稳定,且更新次数少,遇上critical point很难突破,所以较小的batch具有一定的随机性,更加能训练出好的模型,batch太小会频繁参数,所以batch大小也是一个超参数。RMSProp:基于RMS考虑历史梯度的思想,RMSProp在RMS的基础上进行了调整,增加了用于调节历史梯度和当前梯度的权重α ,使得RMSProp方法能够根据梯度的变化迅速调整学习率。

2022-09-04 20:05:40 376

原创 2022李宏毅机器学习深度学习学习笔记第十九周

本文以机器翻译为例子介绍了传统的机器翻译与含有attention技术的机器翻译的不同,介绍注意力机制;最后举例说明注意力机制的具体过程。

2022-08-28 18:33:32 878

原创 2022李宏毅机器学习深度学习学习笔记第十八周

从分类、模型类别、优缺点、应用场景简单介绍循环神经网络,然后介绍pytorch中rnn的API的使用,最后通过代码验证RNN内部是怎样算出的。

2022-08-21 19:17:14 316

原创 2022李宏毅机器学习深度学习学习笔记第十七周

了解LSTM的结构图,以及三个门分别影响什么,学习LSTM前向传播和反向传播的具体计算过程。

2022-08-14 16:47:02 385

原创 2022李宏毅机器学习深度学习学习笔记第十六周

RNN主要是用于处理序列数据的神经网络,本文主要了解RNN的内部结构以及每个参数代表什么,通过一个简单的例子了解RNN正向和反向运算的具体过程;通过例子了解CNN的正向和反向运算的具体过程,理解卷积层和池化层的过程。...

2022-08-07 20:06:11 318

原创 2022李宏毅机器学习深度学习学习笔记第十五周

回顾self-attention,对self-attention机制类别进行总结。

2022-07-31 08:13:37 228

原创 2022李宏毅机器学习深度学习学习笔记第十四周

了解为什么用了验证集结果还是过拟合了,以及为什么深度学习好;了解SpatialTransformerLayer,以及图像是怎样变换的。

2022-07-24 12:59:43 337

原创 2022李宏毅机器学习深度学习学习笔记第十三周--tensorboard的使用与Transforms的使用

本节主要学习TensorBoard的安装;add_scalar()的使用以及add_image()的使用;学习tensorboard与Transforms如何使用。

2022-07-16 13:35:41 549

原创 2022李宏毅机器学习深度学习学习笔记第十二周--Dataset类代码实战

在学习Dataset类代码实战之前,先了解python 的基础知识,比如初始化方法,类的继承以及self的使用;了解dataset如何获取数据,以及dataset两个重要的方法__getitem__方法和__len__方法。

2022-07-09 22:47:50 497

原创 2022李宏毅机器学习深度学习学习笔记第十一周--New Optimizers for Deep Learning

回顾之前学过的五种optimization的方法,对比Adam 和 SGDM,发现Adam 在训练的时候更快,而SGDM则比较稳,考虑能否让Adam 在训练时更稳。了解了PyTorch读取数据所涉及的两个类。

2022-07-03 10:54:54 193

原创 2022李宏毅机器学习深度学习学习笔记第十周--损失函数loss可能影响训练失败

讲了分类中class的表示方法,以及soft-max,最后讲了损失函数loss可能影响训练失败。

2022-06-28 17:22:40 629

原创 2022李宏毅机器学习深度学习学习笔记第九周--learning rate

为了使得梯度下降做的更好,我们改变了梯度下降的式子让learning rate根据gradient的大小自动调整,接着又讲了RMS和RMSProp两种计算σ的方法,最后对optimization进行总结。

2022-06-19 11:30:49 300

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除