[bert+rnn] pytorch中降维的骚操作：out = out[:,-1,:]

最新推荐文章于 2023-10-10 22:34:54 发布
最新推荐文章于 2023-10-10 22:34:54 发布
阅读量2.9k 收藏 18
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyl295528322/article/details/108844697
版权

lstm的输出形状(batch，seq_len, hidden_size*2)

因为要接fc，所以使用out=out[:,-1,:]，将seq_len这个维度去掉了。

得到形状(batch，hidden_size*2)

经过fc后，最终得到形状(batch,class_nums)

大龙2020
关注
  • 2
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch-RNN进行回归曲线预测方式
09-18
今天小编就为大家分享一篇pytorch-RNN进行回归曲线预测方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch深度学习（17）RNN LSTM
JYliangliang的博客
12-10 1864
RNN RNN（循环神经网络）是一种以序列数据为输入来进行建模的深度学习模型，可用于股价预测、天气温度预测、文本生成、 网络评论情感分析、机器翻译等场景 缺点：1、计算速度慢 2、短期记忆保存，不适合保存长期信息（对短期信息敏感，缺乏长期信息的依赖） 优势：1、能处理任意长度的输入 2、模型大小不随输入长度影响 3、计算过往的历史数据 4、权重共享 LSTM LSTM：Long Short Term Memory 长短期记忆 cell state单元状态 传送带上的状态信息由遗忘门和输入门控制...
ChatBot:基于RNN，Transformer，Bert和GPT2的Pytorch生成ChatBot（对话系统）
03-22
Pytorch生成式聊天机器人（对话系统） 基于RNN，Transformer，Bert和GPT2 NLP深度学习 1.基于RNN的ChatBot（对话系统） 2.基于Transformer和Bert的ChatBot（对话系统） 3.基于Bert和GPT2的ChatBot（对话系统） 参考 [1] [2] [3] PS：数据集的格式是两列来自两个人的聊天句子。
pytorch-sentiment-analysis：PyTorch和TorchText入门以进行情感分析的教程
02-03
pytorch-sentiment-analysis：PyTorch和TorchText入门以进行情感分析的教程
nlp-tutorial：面向深度学习研究人员的自然语言处理教程
02-03
教程 nlp-tutorial是针对谁正在使用Pytorch学习NLP（自然语言处理）的教程。 NLP中的大多数模型都使用少于100行的代码实现（注释或空白行除外）。 [08-14-2020]旧的TensorFlow v1代码存储在。 为了便于初学者阅读，仅支持pytorch 1.0或更高版本。 课程-（示例用途） 1.基本嵌入模型 1-1。 -预测下一个单词 论文- Colab- 1-2。 -嵌入单词和显示图 论文- Colab- 1-3。 -句子分类 论文- Colab- 2. CNN（卷积神经网络） 2-1。 二进制情感分类 论文- 3. RNN（递归神经网络） 3-1。 预测下一步 论文- Colab- 3-2。 自动完成 论文- Colab- 3-3。 预测长句中的下一个单词 Colab- 4.注意机制 4-1。 更改单词 论文- Colab- 4-2。 翻译 论文- Colab- 4-3。 二进制情感分类 Colab- 5.基于变压器的模型 5-1。 -翻译 论文- Colab- ， 5-2。 分类下一个句子并预测被屏蔽
turtle.shape()
ening804的博客
12-01 5029
此函数用于将 turtle 形状设置为具有给定名称的形状 默认是'classic'???? 'arrow'???? 'turtle'???? ‘circle’???? ‘square’???? ‘triangle’????
pytorch深度学习：RNN循环神经网络（二）
qq_37333048的博客
12-09 533
上一节了解到了RNN和LSTM的基础知识，这节我们使用LSTM网络对mnist手写数字数据集进行处理。重点了解LSTM网络的搭建方法以及各个参数所代表的含义。 1.问题的提出 我们知道RNN一般是用来处理具有时间序列的数据，但是mnist数据集是图像数据，怎么进行处理呢？这里我们将mnist手写字数据的每行当作不同时间点的数据，也就是一张图片是由28个时间序列数据组成，即Time_step=28，每个时间序列数据包含28个像素点，也就是Input_size=28。第一步，我们来创建一些超参数： # 定义一些
pytorch中Bi-LSTM传递给线性层的输入采用lstm_out[:,-1,:]还是torch.cat([h_n[-1,:,:],h_n[-2,:,:]],dim=-1)
w_x_yhao的博客
04-15 2005
pytorch中Bi-LSTM传递给线性层的输入采用lstm_out[:,-1,:]还是torch.cat([h_n[-1,:,:],h_n[-2,:,:]],dim=-1)这个问题困惑了我很久。
Python turtle.shape()用法及代码示例
yu126long的博客
10-10 1832
Python turtle.shape()用法及代码示例
turtle库使用——认识与操作海龟图像
weixin_51995147的博客
05-05 5102
turtle模块内shape('turtle')方法可以让海龟呈现，stamp()方法可以使用海龟在画布盖章。hideturtle()是隐藏海龟的方法，未来若是想显示海龟可以使用showturtle()方法。clearstamps(n)如果n=None可以清除画布上所有的海龟，若n是正值，可以清除前n个海龟，若n是负值，可以清除后n个。isvisible()可以检查目前程序是否显示海龟，如果显示可以返回True，如果没有显示则返回False。screen.getshapes()方法可以列出所有的海龟光标。
用PyTorch进行深度学习，一步一步来： 初学者的指南
04-17
如果你正在寻找一本可以学习深度学习和PyTorch的书，而不必花几个小时去解读神秘的文字和代码，而且读起来很轻松愉快，那就是这本书。 本书涵盖了从梯度下降的基础知识一直到使用HuggingFace对大型NLP模型（BERT和GPT-2）进行微调。它分为四个部分： 第一部分：基础知识（梯度下降，在PyTorch中训练线性和逻辑回归） 第二部分：计算机视觉（更深入的模型和激活函数、卷积、转移学习、初始化方案） 第三部分：序列（RNN、GRU、LSTM、seq2seq模型、注意、自我注意、转化器） 第四部分：自然语言处理（标记化、嵌入、上下文词嵌入、ELMo、BERT、GPT-2) 这不是一本典型的书：大多数教程都是以一些漂亮的图像分类问题开始，以说明如何使用PyTorch。这看起来很酷，但我认为它分散了你对主要目标的注意力：PyTorch如何工作？在本书中，我介绍了一种结构化的、渐进的、从第一原理出发的学习PyTorch的方法（并在适当的时候接触到漂亮的图像分类问题）。 此外，这绝不是一本正式的书： 我在写这本书的时候，就好像是在和你--读者进行对话一样。我会问你问题（并在不久之后给你答案
Bert-Chinese-Text-Classification-Pytorch:使用Bert，ERNIE，进行中文文本分类
04-24
可以使用Pytorch框架中的神经网络模块来定义多层感知机（MLP）、卷积神经网络（CNN）或循环神经网络（RNN）等模型。然后将预训练模型作为特征提取器，添加适当的全连接层和激活函数，构建分类模型。 模型训练和评估...
用Python创建海龟图形（turtle 库用法）
Python热爱者的博客
07-07 5091
徽标编程是一种基本的编程语言，可以使用基本命令创建形状和数字。它被介绍给孩子们，让他们对编程有一个基本的了解。在Python中，我们可以使用turtle 库来处理模拟Logo编程语言的海龟图形。这个预装的库可以让我们用像Logo编程一样的简单命令来创建和处理海龟图形。本教程将讨论一些Python中的海龟图形的例子。
python——对列表的操作
weixin_48192256的博客
11-09 483
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、[-1]二、[:-1]三、[::-1]四、[:,:,0]五、[...,0] 前言 在python中会出现[-1]、[:-1]、[::-1]、[n::-1]、[:,:,0]、[…,0]、[…,::-1]等等操作 下面我们就对python中出现的上述一系列操作进行详细介绍 一、[-1] 原型[-n]:列表倒数第n项 例： c=[1,2,3,4,5,6,7] c[-1] #倒数第1项 Out: 7 c[-2]
Pytorch_lstm详细讲解
热门推荐
To be a better man
12-13 3万+
1.详细讲解官方文档的例子： 这里有个老哥先带你回顾一下lstm的理论知识： pytorch中lstm参数与案例理解。_wangwangstone的博客-CSDN博客_torch.lstm RNN_了不起的赵队-CSDN博客_rnn 这里主要要领清楚堆叠lstm层，使用的hidden state从lstm1着一层传到lstm2着一层，而不是一行中的几个lstm1单元连在一块的意思。 这个图就可以理解为3个lstm1连在一块了，...
pytorch学习笔记-----RNN CNN自然语言处理
qq_52822699的博客
07-14 453
RNN class Model(nn.Module): def __init__(self,config): super(Model,self).__init__() self.embedding=nn.Embedding.from_pretrained(config.embedding_pretrained,freeze=False) self.lstm=nn.LSTM(config.embed,config.hidden_size,co...
用LSTM进行时间序列预测（单步，多步，单变量，多变量）
Dove_1234的博客
03-03 9908
LSTM因其具有记忆的功能，可以利用很长的序列信息来建立学习模型，所以用它来进行时间序列的预测会很有优势。 在实际工程中用LSTM进行时间序列的预测主要有两个难点：一是前期对数据的处理，二是初始模型的搭建。
基于pytorch的多变量单步LSTM时间序列预测
qq_51465769的博客
03-08 1785
东西丢一个文件夹，运行主程序就行，不过光伏输出功率每日的变化较大，误差也不小。至于data.csv上传了，设定的0积分下载，不知道大家能不能免费下载。
Elasticsearch初识与简单案例.pdf
最新发布
04-29
Elasticsearch是一个基于Lucene的分布式全文搜索引擎，提供灵活且高效的搜索和分析功能。通过HTTP请求和客户端库，用户可以索引和搜索文档，执行复杂查询，进行数据分析，并享受高亮显示等特性。其高级功能如复合查询、聚合分析、滚动搜索等，使其适用于各种数据处理和分析场景。Elasticsearch还具有强大的监控和日志功能，确保集群稳定运行。总之，Elasticsearch是企业级搜索和分析的理想选择。
pytorch---情感分析
06-07
常用的情感分析模型包括基于卷积神经网络（CNN）的模型和基于循环神经网络（RNN）的模型，它们都可以使用Pytorch来实现。此外，Pytorch还提供了一些预训练好的情感分析模型，比如BERT、XLNet等，可以直接拿来进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值