pytorch学习笔记---RNN(基础)

最新推荐文章于 2022-09-15 17:34:47 发布
最新推荐文章于 2022-09-15 17:34:47 发布
阅读量305 收藏 1
点赞数
分类专栏： 基础知识 文章标签： 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39321513/article/details/117461959
版权

一个非常好的笔记：或智或愚或痴或迷 似悲似喜似惊似疑 | BirandaのBlog http://biranda.top

CNN的卷积层只和输入输出通道、还有卷积核的大小有关。

全连接层和图像的大小有关

CNN中卷积层和全连接层相比，全连接层的权重数目是占大头的，比卷积层的远远要多。卷积层有一个参数共享机制。

 

RNN来解决带有序列模式的数据，也会用到权重共享，来减少需要训练的权重的数量。

有序列关系：天气、股市、自然语言

RNN Cell 是典型的线性层

看上去是两个线性层，实际上可以写成一个线性层

pytorch里 RNN使用有两种  1. 定义RNN Cell   2. 直接用RNN

1. 定义RNN Cell 

for example：

注意RNN的使用主要是要搞清维度是怎么变化的，这里增加了一个SeqLen(序列长度)这个维度.

2. 直接用RNN

num_layer： 使用多少层RNN   上面可以接很多层RNN

out, hidden = cell(inputs,hidden)

(h_1~h_N), h_N = cell((x_1~x_N),h_0)

 

同一个色的是同一个线性层。一共就三个线性层。

里面有个batch_first选项，设成Ture,下面input也要换下位置。

讲个例子

假定现在有一个序列到序列（seq→seq）的任务，比如将“hello”转换为“ohlol”

搞搞清楚维度：

静静_jingjing
关注
专栏目录
PyTorch实现简单RNN算法示例
2301_81975613的博客
03-01 288
请注意，这个示例是一个简单的教学用例，实际应用中可能需要更复杂的模型结构和训练流程。此外，由于RNN的梯度消失或爆炸问题，可能需要特殊的技巧（如使用LSTM或GRU）来处理长序列。下面是一个使用PyTorch实现的简单RNN算法的示例。这个例子中，我们将创建一个基本的RNN模型，用于处理序列数据。模块，并在输出层使用了一个全连接层。我们使用均方误差损失函数来训练模型，并使用Adam优化器进行优化。在这个示例中，我们定义了一个简单的RNN模型，它接受一个维度为。的序列，输出一个维度为。
pytorch学习笔记-实践-RNN-sin预测cos
weixin_42681868的博客
09-05 499
RNN 通过Sin预测Cos import torch import torch.nn as nn import torch.nn.functional as F from torch import optim import numpy as np from matplotlib import pyplot as plt import matplotlib.animation #导入动图包 im...
Pytorch基础-RNN
Poor - Because you have no ambition
05-12 328
循环神经网络 RNN rnn起因 现实世界中，元素都是相互连接的，例如语言需要理解上下文的关系来确认表的含义，但是机器要做到这一步却很难。因此，就有了循环神经网络，本质是：拥有记忆能力，会根据记忆的内容来进行推断。输出依赖当前的记忆和输入 RNN是利用顺序的信息，在神经网络中，假设输入和输出相互独立。想要预测句子中的下一个单词，就需要直到它的前面有哪些词语，甚至后边的语句才能给出正确的答案。RNN称循环，是因为它们对序列的每个元素都会执行相同的任务。所有的输出都取决于先前的计算。即RNN是拥有记忆的，可以捕
学习pytorch（四）简单RNN举例
ld_long的博客
02-10 1312
import torch #简单RNN学习举例。 # RNN（循环神经网络）是把一个线性层重复使用，适合训练序列型的问题。单词是一个序列，序列的每个元素是字母。序列中的元素可以是任意维度的。实际训练中， # 可以首先把序列中的元素变为合适的维度，再交给RNN层。 #学习 将hello 转为 ohlol。 dict=['e','h','l','o'] #字典。有4个字母 x_data=[1,0,2,2,3] #输入hello在字典中的引索 x_data=torch.LongTensor(x_data) #后
【自然语言处理】pytorch中如何使用RNN
qq_42961603的博客
07-26 1041
RNN循环神经网络RNN基本形式nn.RNN基础RNN2 layer RNN如下所示，带入上面知识理解nn.RNNCell2 layer RNNCell RNN基本形式 (这里主要讲pytorch的实现，具体RNN细节请参考 链接: link) RNN是用来处理带有时间序列的信息的，每一个时间段采用一个Cell来存储这个时间段之前的所有信息，即h0。 最一开始需要我们初始化建立一个h0表示在输入数据前起始的Cell状态，然后该h0与第一个时间上的信息x0经过运算相加形成第一个带有记忆信息的Cell，即h1。
Pytorch循环神经网络（RNN）快速入门与实战
热门推荐
热爱技术，热爱生活！
03-04 5万+
0. 前言 很久没用过Pytorch，忘得差不多了，最近课题需要用，所以整理一下RNN的使用方法。记得去年学这部分一直很迷糊，所以希望这篇博客能对大家有所帮助。 1. 简单循环神经网络结构 先简单聊聊RNN的结构。最简单的一层RNN网络结构如下图所示，其中，每个箭头都表示一个权值，输入为向量X=[x1,x2,...,xT]X=[x_1,x_2,...,x_T]X=[x1​,x2​,...,xT​]，输出向量为Y=[y1,y2,...,yT]Y=[y1,y2,...,y_T]Y=[y1,y2,...,yT​]
Pytorch学习笔记----RNN/LSTM/GRU
weixin_43718287的博客
05-08 441
Pytorch学习笔记-----RNNRNNRNNCellHow to use RNNCellHow to use RNNUsing RNNCellone-hot编码Embedding in Pytorchpython列表解析基本列表解析条件列表解析嵌套列表解析 RNN RNNCell RNN的运行模式是左侧的图，拆分开来为右侧 h(t-1)送入RNNCell求h(t),h(0)代表先验 RNNCell的本质是一个Linear Layer for x in X: h=Linear(x,h) #h
深度学习-循环神经网络RNN-RNN代码实现-学习RNN的学习笔记
最新发布
06-14
本资源主要是使用pytorch构建RNN项目代码的测试结果展示和个人对每一步代码的见解注释，以及代码运行过程中生成的数据格式展示，还包含代码用到的部分函数介绍。 RNN相关文章分为循环神经网络原理介绍，链接地址：...
（十八）pytorch学习笔记---内容为学习资源摘录整合のRNN 用于时间序列的分析
weixin_40245436的博客
08-16 406
RNN 用于时间序列的分析 前面我们讲到使用 RNN 做简单的图像分类的问题，但是 RNN 并不擅长此类问题，下面我们讲一讲如何将 RNN 用到时间序列的问题上，因为对于时序数据，后面的数据会用到前面的数据，LSTM 的记忆特性非常适合这种场景。 首先我们可以读入数据，这个数据是 10 年飞机月流量，可视化得到下面的效果。 import numpy as np import pandas a...
PyTorch学习笔记-6.PyTorch的正则化
ruoqi23的博客
08-03 5561
6.PyTorch的正则化 6.1.正则项 为了减小过拟合，通常可以添加正则项，常见的正则项有L1正则项和L2正则项 L1正则化目标函数： L2正则化目标函数： PyTorch中添加L2正则：PyTorch的优化器中自带一个参数weight_decay，用于指定权值衰减率，相当于L2正则化中的λ参数。 权值未衰减的更新公式： 权值衰减的更新公式： 下面，分别通过不添加L2正则与添加L2正则进行比较： 代码实现： # -*- coding:utf-8 -*-import
PyTorch深度学习实践12——RNN基础
qq_46009254的博客
09-12 578
PyTorch深度学习实践12
pytorch学习16：RNN简单使用
HMT的博客
09-01 337
基础参数说明 基础网络创建参数 RNN(input_size, hidden_size) input_size：输入数据X的特征值的数目，可视为nlp中词嵌入向量的维度。 hidden_size：隐藏层的神经元数量，即每个时刻输出向量 hth_tht​ 的维度。 网络输入参数说明 rnn(input, h_0) input：输入数据，一般包含三个维度(seq_len, batch, input_size)，其中 seq_len 表示序列长度，batch 表示批大小。 h_0：初始隐状态。 网络输出参
案例带你学Pytorch系列（2）——RNN循环神经网络
MiaLove
05-10 1761
把薄书读厚，典型案例详解 pytorch-CNN经典案例拆解 案例出自： https://github.com/yunjey/pytorch-tutorial.git 关注用案例学Pytorch： https://github.com/houhuipeng/EasyPytorch-ByExample.git 本案例与CNN卷积网络类似，注释较少。 案例带你学Pytorch系列（3）——GNN生成对...
Pytorch 实战RNN
键盘哥的博客
01-31 1144
一、简单实例 # coding:utf8 import torch as t from torch import nn from torch.autograd import Variable #输入词用10维词向量表示 #隐藏层用20维向量表示 #两层LSTM rnn =nn.LSTM(10,20,2) # 输入每句话有5个词 # 每个词由10维的词向量表示 #总共有3句话（batch size） input =Variable(t.randn(5,3,10)) # 隐藏元的初始值（num_layer
史上最直白的RNN详解（结合torch的example）
weixin_44048622的博客
09-15 1421
本文主要是结合torch的代码介绍RNN模型的过程以及原理。
DNN CNN RNN
qq_39086276的博客
03-15 332
在训练集上性能不行： 1.梯度消失问题：有些activation function会导致这个问题,例如：后面提出了Rectified Linear Unit：ReLU,形状为_/；learnable activation function：Maxout 2.可能调整学习率来达到更好，例如Adam 在验证集上性能不行： 1.early stopping：不用等到在训练集上loss最小，可...
RNN和CNN(循环神经网络和卷积神经网络)
SeaSky_Steven的博客
03-02 1694
版权声明：本文为博主许佳佳原创文章，转载请务必注明出处。 https://blog.csdn.net/Double2hao/article/details/84451405 概要 本文科普性质偏多，主要讲一下神经网络中一些常见的概念，如果是完全不懂的小白也可以阅读。 本文参考：https://blog.csdn.net/v_JULY_v/article/details/51812459ht...
CNN和RNN区别
zkq_1986的博客
09-07 1万+
CNN和RNN区别 CNN主要用于图像；RNN主要用于时序和NLP。 当CNN、RNN都用于NLP时，它们的区别在于： RNN（循环神经网络），当前节点的输入包含之前所有节点信息。 RNN（递归神经网络），当前节点的输入以树结构形式包含部分之前节点信息。 CNN（卷积神经网络），当前节点的输入以树结构形式仅包含上一层节点信息。
PyTorch深度学习：探索nn.RNN与nn.RNNCell
"PyTorch学习笔记：nn.RNN与nn.RNNCell的使用" 在PyTorch中，nn.RNN是实现循环神经网络（RNN）层的主要接口，它在处理序列数据时非常有用，尤其适合自然语言处理任务。RNN通过在时间步之间传递隐藏状态来捕获序列中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值