Keras输入变长序列

最新推荐文章于 2022-08-30 00:21:40 发布
原创 最新推荐文章于 2022-08-30 00:21:40 发布 · 5.4k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了Keras在处理变长序列时的常见问题，包括序列的截断和填充操作。强调了在使用Embedding层时，设置参数以避免填充影响句子意义。同时指出，RNN层的mask_zero参数在实际应用中的影响不大，但使用和时需要注意不支持mask。若无Embedding，可以借助Mask层处理变长序列。

  • 发现有些代码处理文本时直接调用keras.preprocessing.sequence.pad_sequences(maxlen)，这个函数将比这个长的序列截断，比这个短的序列补零。同时后面RNN，LSTM等模型也没做任何处理，这样显然有问题，常规神经网络的一个主要问题就是处理变长序列时要截断或补零，这就是RNN出现的一个原因。
    同时，如果用embedding的话，一般要保存的是句子中词的索引，这时候如果补零的话会出很大问题，相当于直接篡改了句子的意思。

  • 使用embedding的情况下，Keras中的Embedding层有一个参数mask_zero，默认是False，只要设置成True就行了。
    在这里插入图片描述
    再看看RNN层怎么说的:
    在这里插入图片描述-
    实际使用时发现很多程序中并不考虑补零的问题，我自己测试时mask_zero为Ture或False对结果也没太大。而且一般keras中不使用LSTM()或GRU()，而是更快的CuDNNLSTM()和CuDNNGRU()，后两者是不支持mask的，如果Embedding()的参数mash_zero设为True，那model.compile()时就会报错。

  • 不使用Embedding

最低0.47元/天 解锁文章
lstm 变长序列_keras在构建LSTM模型时对变长序列的处理操作
weixin_39747807的博客
12-21 358
我就废话不多说了，大家还是直接看代码吧~print(np.shape(X))#(1920, 45, 20)X=sequence.pad_sequences(X, maxlen=100, padding='post')print(np.shape(X))#(1920, 100, 20)model = Sequential()model.add(Masking(mask_value=0,input_s...
keras在构建LSTM模型时对变长序列的处理
xinfeng2005的专栏
03-31 1万+
print(np.shape(X))#(1920, 45, 20) X=sequence.pad_sequences(X, maxlen=100, padding='post') print(np.shape(X))#(1920, 100, 20) model = Sequential() model.add(Masking(mask_value=0,input_shape=(1
keras在构建LSTM模型时对变长序列的处理操作
12-17
我就废话不多说了，大家还是直接看代码吧~ print(np.shape(X))#(1920, 45, 20) X=sequence.pad_sequences(X, maxlen=100, padding='post') print(np.shape(X))#(1920, 100, 20) model = Sequential() model.add(Masking(mask_value=0,input_shape=(100,20))) model.add(LSTM(128,dropout_W=0.5,dropout_U=0.5)) model.add(Dense(13,activation
evaluate函数使用无效_使用Keras和Pytorch处理RNN变长序列输入的方法总结
weixin_39607836的博客
11-22 405
最近在使用Keras和Pytorch处理时间序列数据，在变长数据的输入处理上踩了很多坑。一般的通用做法都需要先将一个batch中的所有序列padding到同一长度，然后需要在网络训练时屏蔽掉padding的值。在pytorch和keras中都有各自对padding值的处理，简单做一下总结。Keras使用Masking层Keras中自带的屏蔽padding值的方式，在网络结构比较简单时使用很方便。m...
input限制输入长度_keras如何多输入多输出，以及中间层输出
weixin_39870132的博客
11-28 357
在许多新手的眼中，深度学习模型构建好了之后，就只能是固定的输入和输出，甚至构建的模型只能是一个输入一个输出。其实深度学习模型很灵活，想有几个输入就有几个输入，想有几个输出就几个输出，想要哪一层的输出，就要哪一层的输出。今天，我们就用keras的几个例子，让大家对深度模型有个更深入的了解。多输入多输出什么情况下需要模型多个输入多个输出呢？•多输入，单输出比如在做文本分类任务时，我不仅仅通过...
lstm 变长序列_NLP中各框架对变长序列的处理全解
weixin_39967938的博客
12-30 527
设为 “星标”，重磅干货，第一时间送达！来源 | PaperWeekly©PaperWeekly 原创 ·作者｜海晨威学校｜同济大学硕士生研究方向｜自然语言处理在 NLP 中，文本数据大都是变长的，为了能够做 batch 的训练，需要 padding 到相同的长度，并在实际训练中忽略 padding 部分的影响。在不同的深度学习框架中，对变长序列的处理，本质思想都是一致的，但具体的实现方式有较大...
keras: 在构建LSTM模型时，使用变长序列的方法
06-07 745
众所周知，LSTM的一大优势就是其能够处理变长序列。而在使用keras搭建模型时，如果直接使用LSTM层作为网络输入的第一层，需要指定输入的大小。如果需要使用变长序列，那么，只需要在LSTM层前加一个Masking层，或者embedding层即可。 1 2 3 4 5 fromkeras.layersimportMasking, Embedding fromkeras.layersimportLSTM mod...
keras速度复习-RNN
cj1064789374的博客
03-05 237
import numpy as np from keras.datasets import mnist from keras.utils import np_utils from keras.models import Sequential from keras.layers import Dense from keras.layers.recurrent import SimpleRNN fr...
tensorflow、keras对于变长序列的处理方法
ronghwa_lu
02-22 591
转载：https://blog.csdn.net/qq_27825451/article/details/88991529 参考链接：https://blog.csdn.net/songbinxu/article/details/80150019 对于NLP，怎么处理变长序列是基本问题。 问题来源：mask_zero=True是干嘛的？ 网上mask_zero的解释少，转载的文章能帮你轻松理解。 总结：Embedding的关键字参数mask_zero=True不会改变Word2vector的结果，即不是讲
不定长中文识别keras
02-02
不定长中文识别,基于keras,使用方便,里含有教程使用文件以及相关再训练文件
gensim中的word2vec的使用
eli的博客
04-07 2702
本着尊重原著的想法，我们先把一些引用的文章贴上来，供大家参考 word2vec的理论知识，这个真的蛮详细的，我表示没有耐心全部搞透啊！：https://blog.csdn.net/itplus/article/details/37969519 苏剑林苏大神的博客，我很喜欢的一位大神：https://kexue.fm/archives/3863 刘建平Pinard大神的博客：https://...
keras深度学习数据输入方法超全总结（以图片分割分类为例）
weixin_44886683的博客
05-26 1663
前言 之前自己苦于这方面久矣，很多博主或者书籍都以minist数据集为例，我真的。。。那种keras自带的数据库输入简直算是开挂好嘛，我们主要谈谈自己的数据集到底该咋办。注：如下函数代码都是博主自己可以跑通的~ 背景知识理解 我们导入数据后大多是用fit_generator来跑网络，我们先看官方文档几个经典的函数解释： 然后一般网络要求输入都是四维数组（batch数，长，宽，通道数），所以我们数据也要整成四维数组的形式否则会报各种错 代码展示 第一种 keras自带函数 1.flow_from_direc
tf.keras.Input函数
LeeG_IOT的博客
08-13 3279
tf.keras.Input( shape=None, batch_size=None, name=None, dtype=None, sparse=None, tensor=None, ragged=None, type_spec=None, **kwargs ) 函数用于实例化Keras张量（一个类似张量的对象（symbolic tensor-like object），即占位符placeholder），向模型中输入数据，并指定张量的形状、batch_size等信息。 使用该函数可以.
【个人整理】循环神经网络RNN对于变长序列的处理方法
热门推荐
MIss-Y的博客
04-04 2万+
前言：我们前面将的各种循环神经网络的实现都是固定的时间步长的，即timesteps的长度是固定的，但是在实际问题中，这个往往是不固定的，为什么呢？因为文本数据在处理的时候，由于各样本的长度并不一样，有的句子长有的句子短这就导致在timesteps上面是维度不固定的，这种数据该如何处理呢？这就是本文要说的重点了。 目录 一、大胆尝试，直接填充0行不行？ 二、tensorflow对于...
神经网络（LSTM）中的变长序列处理及多GPU训练
m0_48194799的博客
08-30 2713
个人写lstm为核心的算法时遇到的一些小问题的总结，主要是变长序列的处理，多GPU训练的使用，以及在使用多GPU训练时同时处理变长序列时遇到数据不能正常传入模型等问题。
Keras学习之一：文本与序列预处理
zzulp的专栏
07-26 1万+
1 简介在进行自然语言处理之前，需要对文本进行处理。 本文介绍keras提供的预处理包keras.preproceing下的text与序列处理模块sequence模块2 text模块提供的方法 text_to_word_sequence(text,fileter) 可以简单理解此函数功能类str.split one_hot(text,vocab_size) 基于hash函数(桶大小为voca
什么是输入序列长度
最新发布
03-08
这时候需要注意模型对变长序列的处理方法，比如填充（padding）或截断（truncation），以及如何处理掩码（masking）来忽略无效数据。 还要考虑不同任务对输入长度的要求。比如机器翻译中，输入和输出的序列长度可能...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值