关于tensorflow 框架中tf.keras.datasets.imdb.load_data()函数一些问题

于 2022-05-15 12:52:45 发布
阅读量601 收藏 1
点赞数
分类专栏： tensorflow 文章标签： tensorflow keras 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42710637/article/details/124780839
版权

tf.keras.datasets.imdb.load_data()

在这里插入图片描述

skip_top 参数

跳过最频繁出现的前N个词（可能没有信息），这些词将作为ov_char值出现在数据集中，默认为0，所以没有词被跳过。

oov_char 参数

int. 词汇外的字符，由于num_words或skip_top限制而被剔除的词将被这个字符所取代。

index_from 参数

int，指数为该指数及以上的实际词语。

start_char 参数

int. 一个序列的开始将被标记为这个字符，默认为1，因为0通常是填充字符。（这也是为什么当index_from=3时，开头1不加3的原因）

oov_char默认为2，start_char默认为1时

index_from=3 和 index_from=0的不同：
在这里插入图片描述
坑了我好久，淦！！！！我真是闲着没事干了要搞懂这个，焯！！！！

tf.keras.datasets详解
qq_19069557的博客
11-10 1249
tf.keras.datasets详解
tf.keras.datasets学习并解析
New_Leaf的博客
05-24 6461
最近刚刚开始使用tensorflow2.0，边学习，边记录。
tensorflow.keras.datasets.imdb 中 load_data 函数的解析
baidu_41902768的博客
08-04 8529
开始接触一点 NLP，一边看 2017 年的 CS224n课程，因为里面的作业似乎是要求用 tensorflow，而 2019 年新的课程是用 pytorch。从 IMDB 数据集开始试试，简单的解析了之后可以看到评论的内容和正负两种评价标签，然后就要对词向量做一个词嵌入(Embedding)的处理，因为网络结构不是用 ANN 而是用循环神经网络 RNN 来做，所以不可以用稀疏向量(...
tensorflow.keras.datasets 中关于imdb.load_data的使用说明
weixin_42272768的博客
01-02 6394
在tensorflow2.x的keras中内置了7种类型的数据集: 数据集名称 数据集描述 boston_housing 波士顿房价数据 cifar10 10种类别图片集 cifar100 100种类别图片集 fashion_mnist 10种时尚类别图片集 imdb 电影评论情感分类数据集 mnist 手写数字图片集 reuters 路透社新闻主题分类数据集 这些数据的读取都可以使用load_data()方法。不过2种关于文本的数据集imdb和reuters比较
tf.keras.datasets数据源
08-02
boston_housing module: Boston housing price regression dataset. cifar10 module: CIFAR10 small images classification dataset. cifar100 module: CIFAR100 small images classification dataset. fashion_mnist module: Fashion-MNIST dataset. imdb module: IMDB sentiment classification dataset. mnist module: MNIST handwritten digits dataset. reuters module: Reuters topic classification dataset. import tensorflow as tf from tensorflow import keras fashion_mnist = keras.datasets.fashion_mnist (x_train, y_train), (x_test, y_test) = fashion_mnist.load_data() mnist = keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() cifar100 = keras.datasets.cifar100 (x_train, y_train), (x_test, y_test) = cifar100.load_data() cifar10 = keras.datasets.cifar10 (x_train, y_train), (x_test, y_test) = cifar10.load_data() imdb = keras.datasets.imdb (x_train, y_train), (x_test, y_test) = imdb.load_data() # word_index is a dictionary mapping words to an integer index word_index = imdb.get_word_index() # We reverse it, mapping integer indices to words reverse_word_index = dict([(value, key) for (key, value) in word_index.items()]) # We decode the review; note that our indices were offset by 3 # because 0, 1 and 2 are reserved indices for "padding", "start of sequence", and "unknown". decoded_review = ' '.join([reverse_word_index.get(i - 3, '?') for i in x_train[0]]) print(decoded_review) boston_housing = keras.datasets.boston_housing (x_train, y_train), (x_test, y_test) = boston_housing.load_data() reuters= keras.datasets.reuters (x_train, y_train), (x_test, y_test) = reuters.load_data() tf.keras.datasets.reuters.get_word_index( path='reuters_word_index.json' )
tensorflow——[keras]内置数据集
Snfiltration
08-15 1785
tensorflow——[keras]内置数据集 import tensorflow as tf 注：本文使用2.1.0版本说明print(tf.__version__) # 2.1.0 记住两个重要函数dir(),help()即可逐步向下找到使用方法 # 快速使用小窗口 # 导入数据集 import tensorflow as tf tf.keras.datasets.数据集 ''' 数据集 有： 'boston_housing', 'cifar10', 'cifar100', 'fashion_mn
keras_IMDB数据集
03-31
这个数据集适用于keras内置的数据集——电影情感分类，但由于墙比较厚，所以本人就将其上传以便更好实验和阅读，具体项目请移步（https://blog.csdn.net/qq_32796253/article/details/88835699）
解决 from tensorflow.keras import datasets,layers, optimizers报错的问题， SGD没有apply_gradients
热门推荐
qq_44644355的博客
05-05 2万+
首先我的tensorflow-gpu版本是2.0.0 解决方法： from tensorflow_core.python.keras import datasets, layers 问题描述： 我是条看视频的时候，有这样一句代码： from tensorflow.keras import datasets, layers 但是我自己输入的时候会报错，然后我看了一下代码所在环境下的包site-pac...
tf.keras.datasets
07-15
tf.keras.datasets的全部数据集。使用的时候解压到~/.keras/datasets。 ~是你的用户文件夹。
tensorflow.keras.datasets.mnist加载的mnist数据集
04-14
通过tensorflow.keras.datasets.mnist.load_data()导入数据集时，由于需要google的服务器，国内无法访问资源。
TensorFlow自带数据集-keras自带数据集下载.zip
06-21
keras常见数据集---避免网络原因加载不上数据集 下载之后移动到.keras/datasets解压即可可以使用了-有加载方式的代码
TensorFlow的 各模块关系keras、nn、metrics、model、Sequential、data.Dataset、keras.datasets
尚墨1111的博客
10-15 1293
TensorFlow下的API结构前言：一、tf 下面有三部分内容：模块、类、常用的函数二、其中像比较常用的`tf.keras`中三、数据处理的`tf.data.Dataset`下的四、Tensorflow构建神经网络和全连接层常用的函数1.数据集操作2.搭建网络层3.计算误差本文参考： 前言： 在使用tensorflow的函数时，对它整体API的结构比较模糊，搜索了一遍之后官方文档解答了我的疑惑，以下为小总结，如有错误欢迎指正。   一、tf 下面有三部分内容：模块、类、常用的函数 |---
imdb.load_data(num_words=top_words)无法下载数据集的问题 A local file was found, but it seems to be incomplete
nsjlive的博客
03-03 2794
有些数据集需要科学上面才可以下载： 例如下面 from keras.datasets import imdb (X_train, y_train), (X_test, y_test) = imdb.load_data(num_words=top_words) 会有如下提示，即使使用科学上网，有时候速度很慢，长时间等待后失败。 可考虑先把文件下载到本地，再加载即可。修改为： from keras...
tensorflow.keras.datasets.cifar10数据集手动下载安装
hymnal的博客
05-07 1986
tensorflow.keras.datasets.cifar10数据集手动下载安装
imdb.load_data Error：Object arrays cannot be loaded when allow_pickle=False
10-20 348
问题描述： from keras.datasets import imdb (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000) 提示错误： ValueError: Object arrays cannot be loaded when allow_pickle=False 解决方案： #好像是numpy版本的问题，numpy1.17的版本和keras没有完全兼容。 #.
tensorflow的keras实现搭配dataset 之一
weixin_30929195的博客
01-11 237
tensorflow的keras实现搭配dataset,几种形式都工作！ tensorflow,keras Sequential模式下： 见代码： from tensorflow import keras as ks import tensorflow as tf # Generate dummy data import numpy as np x_train = np.ra...
解决Keras下，imdb.load_data(num_words=10000)无法下载数据集的问题
Xiao_Xue_Seng的博客
11-12 1万+
当我们按照deeplearning with python书里面的代码教程来时，往往会出现数据集下载失败的问题，例如运行下面一段代码 (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000) 会去一个网站下载imdb.npz的数据集，这时很可能下载失败，那么怎么办呢？ 可...
tf.keras.datasets.mnist.load_data()不能下载数据的解决方案
qq_36767550的博客
05-18 4218
import ssl ssl._create_default_https_context = ssl._create_unverified_context 把这个放在上面就可以
TensorFlow使用DataSets加载数据
CSDN 精品推荐
01-02 757
在TensorFlow中fit()函数可以接收numpy类型数据，前提数据量不大可以全部加载到内存中，但是如果数据量过大我们就需要将其按批次读取，转化成迭代器的形式，也就是DataSets 可以将 Dataset 实例直接传递给方法 fit()、evaluate() 和 predict()： 如果使用DataSet就不需要像numpy数据那种在fit中指定batch_size了 完整代码： """ * Created with PyCharm * 作者: 阿光 * 日期: 2022/1/2 * 时间
import tensorflow as tf from tensorflow import keras import numpy as np # 加载 IMDB 数据集 imdb = keras.datasets.imdb (train_data, train_labels), (test, test_labels) = imdb.load_data(num_words=00) # 将整数序列填充为相同的长度 train_data = keras.preprocessing.sequence.pad_sequences(train_data, value=0, padding='post', maxlen=256) test_data = keras.preprocessing.sequence.pad_sequences(test_data, value=0, padding='post', maxlen=256) # 构建模型 model = keras.Sequential() model.add(keras.layers.Embed(10000, 16)) model.add(keras.layers.GlobalAveragePooling1D()) model.add(keras.layers(16, activation=tf.nn.relu)) model.add(keras.layers.Dense(1, activation=tf.sigmoid)) # 编译模型 model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) # 训练模型 history = model.fit(train_data, train_labels, epochs=40, batch_size=512, validation_data=(test_data, test_labels), verbose=1) # 在测试数据上评估模型 results = model.evaluate(test_data, test_labels) print('Test loss:', results[0]) print('Test accuracy:', results[1])test_data = keras.preprocessing.sequence.pad_sequences(test_data, value=0, padding='post', maxlen=256) NameError: name 'test_data' is not defined
最新发布
05-24
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000) # 将整数序列填充为相同的长度 maxlen = 256 train_data = keras.preprocessing.sequence.pad_sequences(train_data, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值