RNN, LSTM, GRU, SRU, Multi-Dimensional LSTM, Grid LSTM, Graph LSTM系列解读

最新推荐文章于 2024-02-05 23:35:57 发布
最新推荐文章于 2024-02-05 23:35:57 发布
阅读量1.1w 收藏 82
点赞数 11
分类专栏： 深度学习 RNN 文章标签： RNN LSTM deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013010889/article/details/79507177
版权

RNN/Stacked RNN

这里写图片描述
rnn一般根据输入和输出的数目分为5种

  1. 一对一 最简单的rnn
  2. 一对多 Image Captioning(image -> sequence of words)
  3. 多对一 Sentiment Classification(sequence of words -> sentiment)
  4. 多对多: 时序不齐 Machine Translation(seq of words -> seq of words)
  5. 多对多: 时序对齐 Video classification on frame level

这里写图片描述
这里写图片描述
每一个时序的计算中W是相同的即 W h h , W x h W_{hh},W_{xh} Whh​,Wxh​，pytorch中貌似没有 W h y W_{hy} Why​，比如在RNNCell()中只返回一个output，在RNN()中返回最后一个时序的hidden和所有时序的output，且最后一个时序的output就等于最后一个时序的hidden，所以pytorch里面好像没有对h乘以变换 W h y W_{hy} Why​

# pytorch代码示例
'''
对于最简单的 RNN，我们可以使用下面两种方式去调用，分别是 torch.nn.RNNCell() 和 torch.nn.RNN()，
这两种方式的区别在于 RNNCell() 只能接受序列中单步的输入，且必须传入隐藏状态，
而 RNN() 可以接受一个序列的输入，默认会传入全 0 的隐藏状态，也可以自己申明隐藏状态传入。
'''
# rnn_single.weight_ih [torch.FloatTensor of size 200x100]
# rnn_single.weight_hh [torch.FloatTensor of size 200x200]
rnn_single = nn.RNNCell(input_size=100, hidden_size=200) 
# 构造一个序列，长为 6，batch 是 5， 特征是 100
x = Variable(torch.randn(6, 5, 100)) # 这是 rnn 的输入格式
# 定义初始的记忆状态
h_t = Variable(torch.zeros(5, 200))
# 传入 rnn
out = []
for i in range(6): # 通过循环 6 次作用在整个序列上
    h_t = rnn_single(x[i], h_t)
    out.append(h_t)
# out.shape: torch.Size([6, 5, 200])
# ------------------------------
rnn_seq = nn.RNN(100, 200)
out, h_t = rnn_seq(x) # 使用默认的全 0 隐藏状态
# 自己定义初始的隐藏状态 [torch.FloatTensor of size 1x5x200]
# number_layer*bidirectional, batch, hidden_size
# 如过h_t的shape中没有number_layer*bidirectional(True:2,False:1)这个维度
# 即h_0 = Variable(torch.randn(5, 200))那么每层每个方向都用一样的隐状态
h_0 = Variable(torch.randn(1, 5, 200))
out, h_t = rnn_seq(x, h_0)
# out.shape: torch.Size([6, 5, 200])

还有一个Stacked RNN，上面的代码中有个参数num_layers=2，depth方向上，上一个RNN的输出即最后一个h/out，作为输入送到下一个RNN

# input_size hidden_size
rnn_seq = nn.RNN(50, 100, num_layers=2)
# weight_ih (hidden_size, layer_input_size)
print rnn_seq.weight_ih_l0.shape # (100L, 50L) 第一层的输入是50
print rnn_seq.weight_ih_l1.shape # (100L, 100L) 第二层的输入是100，即上一个RNN的输出h
rnn_input = Variable(torch.randn(10, 3, 50))
out, h = rnn_seq(rnn_input)
# h: number_layer*bidirectional, batch, hidden_size
# h: 2*1,3,100
print h.shape # (2L, 3L, 100L) 时序方向w共享，depth方向w不同
# out: seq_len, batch, num_directions * hidden_size
print out.shape # (10L, 3L, 100L)

上述的RNN在应用时会出现下图所示的梯度爆炸或者梯度消失（根据求导可知）
这里写图片描述

Bidirectional RNN(双向RNN)##

在经典的循环神经网络中，状态的传输是从前往后单向的。然而，在有些问题中，当前时刻的输出不仅和之前的状态有关系，也和之后的状态相关。这时就需要双向RNN（BiRNN）来解决这类问题。例如预测一个语句中缺失的单词不仅需要根据前文来判断，也需要根据后面的内容，这时双向RNN就可以发挥它的作用。

双向RNN是由两个RNN上下叠加在一起组成的。输出由这两个RNN的状态共同决定。
这里写图片描述
从上图可以看出，双向RNN的主题结构就是两个单向RNN的结合。在每一个时刻t，输入会同时提供给这两个方向相反的RNN，而输出则是由这两个单向RNN共同决定（可以拼接或者求和等）。

# input_size hidden_size
rnn_seq = nn.RNN(50, 100, num_layers=2, bidirectional=True)
# weight_ih (hidden_size, layer_input_size)
# layer_input_size = hidden_size * num_directions
print rnn_seq.weight_ih_l0.shape # (100L, 50L) 第一层的输入是50
print rnn_seq.weight_ih_l1.shape # (100L, 200) 第二层的输入是1200，即上一个RNN的输出h
rnn_input = Variable(torch.randn(10, 3, 50))
out, h = rnn_seq(rnn_input)
# h: number_layer*bidirectional, batch, hidden_size
# h: 2*2,3,100
print h.shape # (4L, 3L, 100L) 时序方向w共享，depth方向w不同
print out.shape # (10L, 3L, 100L)

LSTM/Stacked LSTM

首先介绍一下lstm的内部结构
这里写图片描述
这里写图片描述
图中将4个门的权重cat起来成4h，输入x和hiddencat起来成2h
还有一个Stacked LSTM，其实也可以是Stacked RNN，只是RNN那里篇幅太长了，没有配图
这里写图片描述

lstm_seq = nn.LSTM(50, 100, num_layers=2) # 输入维度 50，输出 100，两层
# weight_ih (gate_size, layer_input_size)
print lstm_seq.weight_ih_l0.shape # (400L, 50L) 注意是ih
print lstm_seq.weight_ih_l1.shape # (400L, 100L) 输入的维度从50变成100了，即上一层的输出c作为了输入
print lstm_seq.weight_hh_l0 # 第一层的 h_t权重 [400x100] 对应于4个gate的权重 注意是hh
lstm_input = Variable(torch.randn(10, 3, 50))
out, (h, c) = lstm_seq(lstm_input)
print h.shape # (2L, 3L, 100L) 时序方向w共享，depth方向w不同
print c.shape # (2L, 3L, 100L) 时序方向w共享，depth方向w不同
print out.shape # (10L, 3L, 100L)

接着介绍下LSTM是如何解决RNN出现的梯度问题，引用一张知乎上的图

Backpropagation from ct to ct-1 only elementwise multiplication by f, no matrix multiply by W —cs231n_2017_lecture10.pdf, page99

这里写图片描述

GRU

这里写图片描述
在 GRU 中，大幅简化了 LSTM 结构:

  • 新增 reset gate，即图中的 r 开关
  • 将输入门和遗忘门合并为“update gate”，即图中的 z 开关
  • 将细胞状态 C 和隐藏状态 m 合并为 h
  • 省掉了输出门
    与LSTM相比，GRU内部少了一个”门控“，参数比LSTM少，但是却也能够达到与LSTM相当的功能。考虑到硬件的计算能力和时间成本，因而很多时候我们也就会选择更加”实用“的GRU啦。
gru_seq = nn.GRU(4, 5, num_layers=1, bidirectional=False) # 输入维度 4，输出 5
print gru_seq.weight_ih_l0.shape # (15L, 4L)
print gru_seq.weight_hh_l0.shape # (15L, 5L) 对应于2个gate和公式(3)中的权重

SRU

这里写图片描述
这里写图片描述
为什么我们在训练RNN时会比CNN那么慢呢，因为CNN的计算瓶颈在卷积，而卷积可以并行计算，比如某一层有200个卷积核，他们是互不影响可以并行计算的，每个卷积核的计算转换后是矩阵乘法(1, CKK) x (CKK, HW)。RNN的计算瓶颈在权重和[输入, h_t-1]的矩阵相乘(RNN中ht，LSTM GRU中各种门都是这样计算的)，这相当于是全连接，以LSTM中4个门的计算为例，参考上文的LSTM4个门的计算公式，也是矩阵乘法WihXt: (4hidden_size, input_szie)x (input_szie, 1)和WhhHt-1: (4*hidden_size, hidden_size) x (hidden_size, 1) , 这些矩阵相乘计算量比单个卷积核转换后的矩阵乘法计算量要大，尤其是input_size和hidden_size很大时，且必须串行处理，所以导致很慢。
左边是传统的RNN/LSTM/GRU结构，每个时刻灰色的计算部分都要等到上一时刻计算完成，主要体现在计算各个门时需要上一时刻的隐层和权重进行矩阵相乘，这个是很耗时。而GRU在计算门时是可以并行的，即每个时刻计算量较大的矩阵运算可以并行了(训练完成后，甚至可以提前保存所有词向量和训练好的权重W的计算结果，inference时直接查表)。剩下的依赖就是ct，ht的计算了，不过这是时间上的依赖本身就是RNN的特点所在，不能解除，而且这些计算都是element-wise相乘相加，速度很快。

Multi-Dimensional LSTM

上面的RNN、LSTM每个Cell的输入x和隐层h都只有一个，都是一维的，Stacked RNN/LSTM也只是在depth上多加了几层。而Multi-Dimensional RNN/LSTM的cell的输入x是N个，隐层h, m也是N个。例如二维图片，在之前的是把每行当成一个输入，N行就是序列为N的输入，现在当前每个像素(x,y)的cell的输入是两维，即(x-1,y)和(x,y-1)位置cell的输出。公式如下N个输入x得到N个门g，然后当前位置的memory cell m由N个隐层m决定。
这里写图片描述

As the number of paths in a grid grows combinatorially with the size of each dimension and the total number of dimensions N, the values in m can grow at the same rate due to the unconstrained summation in Eq. 4(上述公式). This can cause instability for large grids, and adding cells along the depth dimension increases N and exacerbates the problem —Grid LSTM paper

注意，Multi-Dimensional LSTM的cell虽有多个输入和隐层，但是它只输出一个m(有些称c)和h，当前cell在各个维度上与其他cell相连时是通过上述公式，但是由于N个求和可能随着N的增大会不稳定

Grid LSTM

上面的RNN、LSTM、Stack RNN/LSTM、 Multi-Dimensional LSTM都是只是在时序一个方向加了RNNCell和LSTMCell，尽管 Multi-Dimensional LSTM增加了多维，但是当前cell在各个维度上与其他cell相连时不是通过lstm cell的公式相连，而是由上文的公式决定，存在不稳定性。

而Grid LSTM和Multi-Dimensional LSTM一样接受N个h和N个m(第一层还会有N个重复的x)，但是每个cell都会输出N个h’和N个m’，在与其他维度的cell联系时不是Multi-Dimensional LSTM那样只有输出一个h’和m’然后通过那个公式，而是每个维度都对应它输出的N个h’和m’中的一个然后通过LSTM cell的公式相连。
这里写图片描述

具体相连如下所示，左下角第一个cell，h有两个 h t − 1 h_{t-1} ht−1​和 b l − 1 b_{l-1} bl−1​，c(即m)有两个 c t − 1 c_{t-1} ct−1​和 a l − 1 a_{l-1} al−1​，然后后输出2对h’和m’，即一对h’和m’: a l , b l a_l, b_l al​,bl​与垂直维度的cell相连，另一对h’和m’: c t , h t c_t, h_t ct​,ht​与水平维度的cell相连。(橙色的对应都是c，蓝色的对应都是h)
这里写图片描述
相连时的内部计算，就是计算2个LSTM cell
这里写图片描述
即以下公式，不过论文还有一段介绍PRIORITY DIMENSIONS，不具体展开了
这里写图片描述
3D的也一样，3对h’和m’
这里写图片描述

Graph LSTM##

上述的LSTM的拓扑结构大多是事先定义的，都是固定或者平分的，Graph LSTM中的拓扑结构是图，这里作者主要是把它应用到了semantic segmentation，因为之前的拓扑结构都是固定的，但是图片中每个物体都有天然的边界和纹理，这些先验不一定是固定的，如果按照之前的结构，需要每个像素都要按部就班费时费力(因为很多相邻像素都很像，都属于同一个语义标签)，而我们可以通过现有方法得到一些不规则的语义像素块，然后在这些块上做lstm，减少了很多无用功。
这里写图片描述

引用:

爆米花好美啊
关注
  • 11
    点赞
  • 踩
  • 82
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
rnn-tutorial-gru-lstm-master分词
03-12
人工智能深度学习，中文分词代码，准确无误。rnn-tutorial-gru-lstm-master分词
GNN在云服务异常检测上的应用（Graph-LSTM）
AI蜗牛车
03-06 2706
前言图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能与可解释性，GNN最近已成为一种广泛应用的图分析方法。真实的云服务系统中，海量机器各种时序指标相互关联彼此影...
循环神经网络系列-GRU原理、优化、改进及代码实现(时序预测/分类/回归拟合，Matlab)
最新发布
sfejojno的博客
02-05 1243
同样，GRU也存在一定可进行优化选择的超参数，若采取经验法或试错法，则有不能获取最优取值组合、时间成本高等问题。优化算法通过对超参数组合的随机生成与更新，能够更快速地获取优解，不失为一种应用方法。前面的文章中KAU已经介绍过很多种优化算法及其改进策略，本文中我也会应用这些算法优化GRU。
grid-lstm:网格长期短期记忆（LSTM）网络
05-16
网格LSTM 本回购协议的目的是实施和探索受OpenAI的启发而提出的《的含义。 问题 训练LSTM解决XOR问题：即给定一个位序列，确定其奇偶校验。 LSTM应该一次消耗一个序列，然后在序列末尾输出正确的答案。 生成一个随机的100,000个长度为50的二进制字符串的数据集。 你会得到什么表现？ 用10个纪元，我得到了0.5025的准确度。 我摆弄了辍学和时代，发现性能并没有提高，所以我四处寻找可能发生的情况。 克里斯托弗·布雷兹（Christopher Bourez）的博客让我对有所了解。 用Keras实现简单的LSTM。 在没有Keras的情况下实现LSTM网络 生成一个随机100,000个二进制字符串的数据集，其中每个字符串的长度是在1到50之间独立地随机选择的。训练LSTM。 它成功了吗？ 是什么解释了差异？ 资源
【PyTorch】深度学习实践之RNN高级篇—实现分类
zoetu
08-19 5548
深度学习实践之RNN高级篇—实现分类,RNN分类器，双向LSTM，kaggle赛题电影评论情感分析。
时间序列预测实战(十五)PyTorch实现GRU模型长期预测并可视化结果
Snu77的博客
11-13 5320
本文讲解的实战内容是GRU(门控循环单元)，本文的实战内容通过时间序列领域最经典的数据集——电力负荷数据集为例，深入的了解GRU的基本原理和框架，下面是预测值和真实值的对比图先给大家放在前面。预测类型->单元预测、多元预测、长期预测门控机制：GRU的核心是门控机制，包括更新门（update gate）和重置门（reset gate）。这些门控制着信息的流动，即决定哪些信息应该被保留，哪些应该被遗忘。更新门：更新门帮助模型决定过去的信息有多少需要保留到当前状态。
grid lstm模型简介
yiyele的博客
08-21 3705
理论介绍 主要通过论文《Grid Long short-Term Memory》。 grid LSTM沿着任何或所有维度（包括网络深度）部署cell。 一个Grid LSTM网络的block有N个hidden vector h1, …, hN和N 个memory vectorm1,m2..作为输入，另外block的各个输出各不相同。 标准的lstm模型的计算公式如下： 源码介绍...
【paper】Semantic Object Parsing with Graph LSTM阅读笔记
lingzhou33的博客
05-21 1741
文章目录MotivationContributionframework Motivation 使用LSTM网络的动机：传统的CNN大多是捕捉有限的局部信息，但是在语义预测的时候往往需要的是全局的信息。例如“举起的胳膊”这种，对比躯干才能判断胳膊是举起的还是放下的 利用graph构建LSTM的动机：利用LSTM进行图像处理的时候通常将图像切成大小固定的patch/pixel，不灵活，不方便 Cont...
论文阅读：图神经网络 之 语义目标解析
钉马掌的小铁匠的博客
08-16 948
Semantic Object Parsing with Graph LSTM 图神经网络 Grap Neural Network（GNN）在很多领域日益普及，包括社交网络、知识图谱、推荐系统甚至于声明科学。 GNN借鉴了CNN的思想。CNN通过卷积核共享权重参数、实现局部信息连接、并层层传递的方式将底层低级信息，转化为高级语义信息。CNN处理欧式空间数据具有优势，而图结构的数据不是欧式空间，但是...
《Semantic Object Parsing with Graph LSTM》--论文阅读笔记
LIYUO94的博客
05-18 1838
Semantic Object Parsing with Graph LSTM原文 2016年发表于计算机视觉三大会议之一的ECCV（European Conference on Computer Vision ） 欧洲计算机视觉国际会议。【另两个为：ICCV和CVPR】 摘要 通过将语义对象解析任务作为示例应用场景，我们提出了图长短期记忆（Graph LSTM）网络，它是LSTM从顺序数据或多...
台湾大学李宏毅机器学习课程
06-04
李宏毅（（Hung-yi Lee）目前任台湾大学电机工程学系和电机资讯学院的助理教授，他曾于2012年获得台湾大学博士学位，并于2013年赴麻省理工学院（MIT）计算机科学和人工智能实验室做访问学者。他的研究方向主要是语义理解、语音识别、机器学习和深度学习）老师的机器学习课程以机器学习和深度学习的基础知识为主，包含了AI领域的各种最新知识和技术点。课程深入简出，通俗易懂，颇受欢迎，非常适合对AI感兴趣的学习者。本课程已经获得李宏毅老师授权。
Python碳价格时间序列预测（RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn ）
09-22
本文采用欧盟碳排放交易体系下的欧盟碳排放配额(EUA)数据。 实验采用在2013年4月15日至2020年3月30日期间使用的相同大小的数据集，包括1797个样本。 前80% 的数据被选为训练集...RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn
基于Python进行RNN LSTM GRU测试及数据集试验【100012341】
05-22
使用递归神经网络和其变体(长短期记忆网络LSTM、GRU)在多个数据集(MNIST/FashionMNIST/CIFAR10)上进行训练、测试，比较效果 简单分析不同数据集给参数调整(递归神经网络层数、训练迭代次数)及过拟合现象带来的影响 ...
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
rnn.zip_LSTM MATLAB_LSTM-RNN_RNN-LSTM_rnn lstm_rnn matlab
07-15
作为刚开始研究RNN 的小白，可以看RNN和LSTM的ｍａｔｌａｂ程序，本人刚开始学习 ，把找到的资源分享给大家。
OpenCV、Skimage、PIL图像处理的细节差异
热门推荐
Sundrops的专栏
01-11 4万+
上一篇博客中介绍了caffe实现多label输入，其中有一些图片处理的操作（训练验证数据），当时我选择了PIL库，但是在测试中用了caffe官网demo的代码，它使用了caffe提供的一些python接口，而它调用的是skimage这个库，所以有些许差异，可能会带来精度上的一些影响。这篇博客先介绍一下这些库的差异，下篇博客介绍测试时可能出现的小错误 PIL(RGB) 首先介绍PIL...
faster rcnn源码解析
Sundrops的专栏
11-20 3万+
之前一直是使用faster rcnn对其中的代码并不是很了解，这次刚好复现mask rcnn就仔细阅读了faster rcnn，主要参考代码是pytorch-faster-rcnn ，部分参考和借用了以下博客的图片 [1] CNN目标检测（一）：Faster RCNN详解 姊妹篇mask rcnn解析 整体框架 首先图片进行放缩到W*H，然后送入vgg16(去掉...
光流介绍以及FlowNet学习笔记
Sundrops的专栏
05-04 3万+
FlowNet: Learning Optical Flow with Convolutional Networks pdf与相关代码: https://lmb.informatik.uni-freiburg.de/resources/binaries/ 光流(Optical Flow)介绍 1. 光流原理 光流分为稀疏光流和稠密光流，稀疏光流就是只计算图片中特定点的光...
FPN解读
Sundrops的专栏
11-29 2万+
前两篇博客中都说到了FPN这个神器，今天就花了点时间看了下这篇论文，喜欢这个很赞很干净的结构。
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值