[PyTorch 学习笔记] 8.4 手动实现 RNN

最新推荐文章于 2024-08-26 13:15:40 发布
最新推荐文章于 2024-08-26 13:15:40 发布
阅读量1.2k 收藏 10
点赞数
分类专栏： Pytorch 文章标签： 深度学习 自然语言处理 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BGH12ET/article/details/108978521
版权
本文详细介绍了如何在PyTorch中手动实现RNN，重点在于处理不定长输入，特别是应用于自然语言处理和时间序列任务。文章通过一个姓名分类的实例，展示了RNN的网络结构、公式及训练过程，包括输入、状态、输出的计算，并且提到了数据处理和参数更新的方式。虽然没有使用DataLoader和Dataset，但给出了如何构造数据集和进行迭代训练的步骤。
摘要由CSDN通过智能技术生成

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/rnn_demo.py

这篇文章主要介绍了循环神经网络（Recurrent Neural Network），简称 RNN。

RNN 常用于处理不定长输入，常用于 NLP 以及时间序列的任务，这种数据一半具有前后关系。

RNN 网络结构如下：


上图的数据说明如下：
  • x t x_{t} xt​：时刻 t 的输入， s h a p e = ( 1 , 57 ) shape=(1,57) shape=(1,57)，表示 (batch_size, feature_dim)。57 表示词向量的长度。
  • s t s_{t} st​：时刻 t 的状态值， s h a p e = ( 1 ， 128 ) shape=(1，128) shape=(1，128)，表示 (batch_size, hidden_dim)。这个状态值有两个作用：经过一个全连接层得到输出；输入到下一个时刻，影响下一个时刻的状态值。也称为hedden_state，隐藏层状态信息，记录过往时刻的信息。第一个时刻的 s t s_{t} st​ 会初始化为全 0 的向量。
  • o
最低0.47元/天 解锁文章
张贤同学
关注
专栏目录
图卷积神经网络GCN、GAT的原理及Pytorch实现
Python，数据分析，机器学习，深度学习
10-22 7502
ICLR作为机器学习方向的顶会，最近看了ICLR2023 Openreview的论文投稿分析，通过2022和2023年论文关键词、标题高频词等信息的可视化比较。根据前十的关键词频率排名频率来看，基本上和去年保持一致，大火的领域依旧大火。但是可以明显看到前五名关键词的频率差距逐渐减少。有意思的是这一关键词终于又重回前三，再次为「国际学习表征会议」（ICLR）正名。这一关键词则是掉了一名，与交换了位置，但相比于去年的频率仍然火爆。GCN作为GNN的变种，依然是一个发论文的热门。
python手动实现RNN、LSTM、GRU.zip
09-14
参考链接：https://blog.csdn.net/qq_37534947/article/details/110442147，包含手动是实现RNN、pytorch实现RNN、LSTM、GRU。
PyTorch - RNN 手动实现
AI + 工程
02-07 397
RNN 手动实现
循环神经网络 RNN 的实现
jun778895的博客
07-29 597
循环神经网络（Recurrent Neural Network, RNN）是一种专门用于处理序列数据的神经网络结构。与传统的神经网络不同，RNN具有记忆能力，能够处理输入数据之间的时间依赖关系。这种特性使得RNN在自然语言处理（NLP）、语音识别、时间序列预测等领域中得到了广泛应用。本文将详细介绍RNN的基本原理、实现方法、训练过程及其在实际应用中的挑战与解决方案。
【动手学习pytorch笔记】23.RNN简易实现
ymk1998的博客
04-10 456
RNN简易实现 import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) 一样的加载 train_iter，vocab num_hiddens = 256 rn
Pytorch RNN API使用以及手动编写
weixin_44936816的博客
03-22 1115
Pytorch RNN API使用以及手动编写
rnn-手动实现
最新发布
qq_42645279的博客
08-26 308
【代码】rnn-手动实现。
Pytorch的学习——RNN
qq_41100991的博客
11-29 817
RNN 在pytorch中RNN（循环神经网络）由 torch.nn中的RNN()函数进行循环训练，其参数有input_size,hidden_size, num_layers。 input_size：输入的数据个数 hidden_size：隐藏层的神经元个数 num_layers：隐藏层的层数，数值越大RNN能力越强，相应的训练消耗时间越多 分类问题 这里通过手写数字的一个小例子来了解pytor...
[PyTorch 学习笔记] 汇总 - 完结撒花
张贤的博客
10-17 1122
PyTorch 学习笔记 这篇文章是我学习 PyTorch 过程中所记录的学习笔记汇总，包括 25 篇文章，是我学习深度之眼 PyTorch 框架版课程期间所记录的内容。课程地址：https://ai.deepshare.net/detail/p_5df0ad9a09d37_qYqVmt85/6。 学习笔记的结构遵循课程的顺序，共分为 8 周，循序渐进，力求通俗易懂。 代码 配套代码：https://github.com/zhangxiann/PyTorch_Practice 所有代码均在 PyCharm
深度学习课堂笔记
synthesis_30的博客
03-02 1670
第1章 深度学习简介 1.1 课程简介 1.2
RNN实现源码
04-29
RNN的实现源码
手写RNN(递归神经网络)
07-23
根据http://nooverfit.com/wp/%E6%AF%8F%E4%B8%AA%E4%BA%BA%E9%83%BD%E8%83%BD%E5%BE%92%E6%89%8B%E5%86%99%E4%B8%80%E4%B8%AAlstm-rnn%E9%80%92%E5%BD%92%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C-%E6%89%8B%E6%8A%8A%E6%89%8B%E6%95%99%E4%BD%A0/#more-860
从零开始大模型开发与微调：解码器的实现
程序员光剑
07-15 1348
从零开始大模型开发与微调：解码器的实现 关键词： 大模型开发 微调技术 解码器实现 自动化构建流程 实时更新与优化 1. 背景介绍
RNN（recurrent neural network）（二）——动手实现一个RNN
天泽28的专栏
02-12 3133
RNN（recurrent neural network）（二）——动手实现一个RNN RNN系列博客： RNN（recurrent neural network）（一）——基础知识 RNN（recurrent neural network）（二）——动手实现一个RNN      &amp
用pytorch实现简易RNN
qq_40206371的博客
06-02 3501
1 导入库函数 import torch import numpy as np import matplotlib.pyplot as plt
【深度学习】手动实现RNN循环神经网络
CXY819394的博客
03-20 1251
🥇学习在于行动、总结和坚持，共勉！RNN的特别结构使得RNN具备了短期记忆能力，使其能够学习部分语义信息。
RNN的手动推导与代码逐行实现
peaunt1的博客
08-14 3697
RNN
RNN实现
m0_48148247的博客
10-27 416
RNN从零开始实现+基于Pytorch简洁实现
PyTorch深度学习：探索nn.RNN与nn.RNNCell
"PyTorch学习笔记：nn.RNN与nn.RNNCell的使用" 在PyTorch中，nn.RNN是实现循环神经网络（RNN）层的主要接口，它在处理序列数据时非常有用，尤其适合自然语言处理任务。RNN通过在时间步之间传递隐藏状态来捕获序列中...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值