【keras】4. IMDb网络电影数据集处理与LSTM情感分析

已于 2022-03-18 21:33:42 修改
阅读量4.6k 收藏 60
点赞数 8
分类专栏： 深度学习 文章标签： keras lstm 网络
于 2021-12-19 21:48:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jruo911/article/details/122029708
版权

参考：《Tensorflow和keras-深度学习人工智能实践应用》
第13、14章
GitHub：点我

部分封装函数请看文章：【keras】1. MNIST手写数据集识别（重要）_myaijarvis notebook-CSDN博客

步骤

在这里插入图片描述

数据预处理

分析数据

import urllib.request # 下载文件
import os
import tarfile # 解压缩文件

# 下载数据集
url="http://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz"
filepath=r"data/aclImdb_v1.tar.gz"
if not os.path.isfile(filepath): # 如果该路径下没有文件就下载
    result=urllib.request.urlretrieve(url,filepath)
    print('downloaded:',result)
# 解压文件
if not os.path.exists(r"data/aclImdb"):
    tfile=tarfile.open(filepath,'r:gz')
    result=tfile.extractall(r"data/")

读取数据

在这里插入图片描述


import re  # 正则

def rm_tags(text):
    re_tag=re.compile(r'<[^>]+>') # 剔除html标签
    return re_tag.sub('',text)
# 读取文件
import os

# filetype: train test
def read_file(filetype):
    path="data/aclImdb/"
    file_list=[]
    
    positive_path=path+filetype+'/pos/' # 正面评价的文件路径
    for f in os.listdir(positive_path):
        file_list+=[positive_path+f] # 加入所有文件
    
    negative_path=path+filetype+'/neg/'
    for f in os.listdir(negative_path):
        file_list+=[negative_path+f]
        
    print("read",filetype,"files:",len(file_list)) # 文件个数
    
    all_labels=([1]*12500 + [0]*12500) # 前12500 是正面 都为1 后面12500 是负面 都为0
    all_texts=[]
    
    # 读取所有文件
    for fi in file_list: 
        with open(fi,encoding="utf8") as file_input:
            # 先读取文件 使用join连接所有字符串 然后使用rm_tags剔除tag 最后加入all_texts
            all_texts.append(rm_tags("".join(file_input.readlines())))
    
    return all_labels,all_texts

在这里插入图片描述

y_train,train_text=read_file("train")
y_test,test_text=read_file("test")

y_train=np.array(y_train)
y_test=np.array(y_test)

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
建立token字典

from tensorflow.python.keras.preprocessing.text import Tokenizer # 建立字典
# 建立 token
token=Tokenizer(num_words=2000) # 词典的单词数为2000
# 建立token词典
token.fit_on_texts(train_text) # 按单词出现次数排序 取前2000个

在这里插入图片描述
将影评文字转化为数字列表


# 将影评文字转化为数字列表（一条影评文字转化为一条数字列表）
x_train_seq=token.texts_to_sequences(train_text)
x_test_seq=token.texts_to_sequences(test_text)

在这里插入图片描述
对“数字列表”截长补短 ，全部弄成100位

from tensorflow.python.keras.preprocessing import sequence # 截长补短
# 截长补短
x_train=sequence.pad_sequences(x_train_seq,maxlen=100)
x_test=sequence.pad_sequences(x_test_seq,maxlen=100)

在这里插入图片描述

MLP

模型

# tf 2.0+   tensorflow.python  加个前缀
from tensorflow.python.keras.models import Sequential
from tensorflow.python.keras.layers.core import Dense,Dropout,Activation,Flatten
from tensorflow.python.keras.layers.embeddings import Embedding

model = Sequential([])
model.add(
    Embedding( # 将数字列表转换成词向量
        output_dim=32 # 将每一个数字列表里面的数字都转换成32维向量，即一个单词用32维词向量表示
        ,input_dim=2000 # 输入维数 字典词数2000
        ,input_length=100 # 每个数字列表有100个数字  相当于用100个数字去表示一条评论
    )
)
model.add(Dropout(0.35))
model.add(Flatten()) # 将输入“压平”，即把多维的输入一维化 共有32*100=3200个
model.add(Dense(
    units=256 # 神经元节点数
    ,activation="relu" # 激活函数
))# 隐藏层
model.add(Dropout(0.35))
model.add(Dense(
    units=1 # 输出 1表示正面评价 0表示负面评价
    ,activation='sigmoid'
))

model.summary() # 模型摘要

# 配置
model.compile(
    loss="binary_crossentropy" # 损失函数
    ,optimizer='adam' # 优化器
    ,metrics=['accuracy'] # 评估
)
# 训练
train_history=model.fit(
    x=x_train
    ,y=y_train
    ,validation_split=0.2 # 验证集占20%
    ,epochs=10 # 训练10个周期
    ,batch_size=100 # 每一批次训练100项数据 一个周期大概训练20000/100=200批次
    ,verbose=1
)
'''
verbose：日志显示
verbose = 0 为不在标准输出流输出日志信息
verbose = 1 为输出进度条记录
verbose = 2 为每个epoch输出一行记录
注意： 默认为 1
'''

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

评估

scores=model.evaluate(
    x_test
    ,y_test
    ,batch_size=100 # 一批次使用100个样本 共训练25000/100=250批次
    ,verbose=1) 
print(scores)

250/250 [==============================] - 2s 8ms/step - loss: 0.6740 - accuracy: 0.8614
[0.6740041375160217, 0.8614000082015991]

print('Test loss:', scores[0])
print('Test accuracy:', scores[1])

Test loss: 0.7183531522750854
Test accuracy: 0.8219599723815918

预测

predict=model.predict_classes(x_test) # 预测的是类别，打印出来的值就是类别号

在这里插入图片描述

predict_calsses_vector=predict.reshape(-1) # 转为一维数组
predict_calsses_vector[:10]

array([1, 1, 1, 1, 1, 1, 1, 1, 1, 1])

SentimentDict={1:'正面的',0:'负面的'}

def display_test_Sentiment(i):
    print('影评：',test_text[i])
    print(f'真实值：{SentimentDict[y_test[i]]} \n预测值：{SentimentDict[predict_calsses_vector[i]]}')

在这里插入图片描述

预测其他评论 ***

# 封装函数

def predict_review(input_text):
	# 将影评文字转换为数字列表
    input_seq=token.texts_to_sequences([input_text])
    # 截断或者填充至100
    pad_input_seq=sequence.pad_sequences(input_seq,maxlen=100)
    predict_result=model.predict_classes(pad_input_seq) # predict_result是二维的
    print(SentimentDict[predict_result[0][0]])
    
# 差评
# 将近300元买的杜比首映场，是真的不值。除了花里胡哨的特效外，一无是处，没有插科打诨和反高潮冷笑话，漫威就不会拍电影啦？花了十年塑造的人物形象性格在本作随意全部推翻，每个人所做的决策都不计后果，意气用事，幼稚且儿戏。巨作难逃烂尾，或许真的是个定律。 
bad_text='''
Nearly 300 yuan for a Dolby premiere is really not worth it. Nothing but fancy special effects, and without gags and anti-climax dry jokes, marvel wouldn't make a movie? The characters that took ten years to build are overthrown at will, and everyone's decisions are reckless, emotional, childish and playful. It may be the rule that a blockbuster ends badly.
'''
predict_review(bad_text)

负面的

加大词典

加大词典，增加预测准确度

这里只放修改的地方


token=Tokenizer(num_words=3800) # 词典的大小改为3800
token.fit_on_texts(train_text)
...
x_train=sequence.pad_sequences(x_train_seq,maxlen=380) # 长度改为380
x_test=sequence.pad_sequences(x_test_seq,maxlen=380)
...
model = Sequential()
model.add(Embedding(
    output_dim=32
    ,input_dim=3800 # 修改
    ,input_length=380 # 修改
))

RNN

模型

from tensorflow.python.keras.layers.recurrent import SimpleRNN

model=Sequential()
model.add(Embedding(output_dim=32,input_dim=3800,input_length=380))
model.add(Dropout(0.35))

model.add(SimpleRNN(16)) # RNN

model.add(Dense(units=256,activation='relu'))
model.add(Dropout(0.35))
model.add(Dense(units=1,activation='sigmoid'))
model.summary()

model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])
train_history=model.fit(
    x=x_train
    ,y=y_train
    ,validation_split=0.2
    ,epochs=10
    ,batch_size=100 # 每一批次训练100项数据 一个周期大概训练20000/100=200批次
    ,verbose=1
)

在这里插入图片描述

评估


scores=model.evaluate(x_test,y_test) # 默认batch_size=32  25000/32=782

print('accuracy=',scores[1])

782/782 [==============================] - 4s 5ms/step - loss: 0.8148 - accuracy: 0.8408
accuracy= 0.8407999873161316

可以自己用评论去预测一下

LSTM

在这里插入图片描述
在这里插入图片描述

模型

from tensorflow.python.keras.layers.recurrent import LSTM

model=Sequential()
model.add(Embedding(output_dim=32,input_dim=3800,input_length=380))
model.add(Dropout(0.35))
model.add(LSTM(32))
model.add(Dense(units=256,activation='relu'))
model.add(Dropout(0.35))
model.add(Dense(units=1,activation='sigmoid'))
model.summary()

# 这里训练比较慢 可以要花几分钟
model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])
train_history=model.fit(x=x_train,y=y_train,validation_split=0.2,epochs=10,batch_size=100,verbose=1)

scores=model.evaluate(x_test,y_test)
print('accuracy=',scores[1])

782/782 [==============================] - 22s 28ms/step - loss: 0.4828 - accuracy: 0.8532
accuracy= 0.8532400131225586

可以自己用评论去预测一下

myaijarvis
关注
  • 8
    点赞
  • 踩
  • 60
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
尝试将BERT应用于IMDB情感分类任务
TEDIST的博客
02-25 2528
前言 之前在学习《Python深度学习》这本书的时候记得在书中有一个 使用GloVe词嵌入的方式进行IMDB数据集的情感分类任务，而最近在网上学习了一个使用BERT进行关系抽取的项目，于是乎考虑尝试用BERT来再次尝试对IMDB数据集的情感分类任务。同样的这次也是采取随机的200个数据集作为训练集，10000个数据集作为测试集。全部代码在github上已经给出。 步骤 本次实验的大致步骤同书中的例...
Keras用IMDB数据源(imdb.npz + imdb_word_index.json)
07-23
本主题涉及的知识点主要集中在Keras如何利用IMDB数据集进行情感分析任务。 IMDB数据集是电影评论的情感分类数据集，包含50,000条影评，分为训练集（25,000条）和测试集（25,000条）。这些评论已经被人工标注为正面...
IMDB电影评论的情感分析——paddle
人工智能学习生
01-18 2113
自然语言是人类传递信息的一种载体，同时它也能表达人类交流时的一种情感。一段对话或者一句评论都能蕴含着丰富的感情色彩：比如高兴、快乐、喜欢、讨厌、忧伤等等。
2024年最全[NLP]基于IMDB影评情感分析之BERT实战-测试集上92，从入门到真香
2401_84715513的博客
05-08 892
Imdb影评的数据集介绍与下载下面我用三种方法来训练Bert用IMDB影评数据集现在基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在数据预处理的时候都会有WordPiece的过程。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。BPE的过程可以理解为把一个单词再拆分，使得我们的此表会变得精简，并且寓意更加清晰。
文本情感分类TextCNN原理+IMDB数据集实战
ZhengrongYue的博客
01-24 1603
文本情感分类TextCNN原理+IMDB数据集实战
基于Python的IMDB电影评论文本分类
毕业作品网站
09-10 2150
IMDB 数据集包含了 50000 条电影评论和它们对应的情感标签（积极或消极），在本实验中，我们的任务是训练出一个结合 Word2Vec 的循环神经网络模型，对电影评论进行文本分类。：Cuda。神经网络代码基于 Pytorch 库。/Image/Modelmodel.pyval.pytest.py注：由于 IMDB 数据集比较大，所有中间处理结果文件（包括文本清洗后的文件、Word2Vec编码文件）并没有提交，但可以通过代码重新生成这些文件。
PyTorch搭建Bert对IMDB数据集进行情感分析（文本分类）
KI的博客
09-17 2610
PyTorch搭建Bert对IMDB数据集进行情感分析（文本分类）
Keras深度神经网络训练IMDB情感分类的四种方法
weixin_34051201的博客
03-03 386
2019独角兽企业重金招聘Python工程师标准>>> ...
imdb电影情感分类数据集
03-26
keras下载速度慢或者下载不下来时，可将数据集放入.keras/datasets下即可（一般在用户目录下）
MLP/RNN/LSTM模型进行IMDb情感分析
04-11
使用MLP/RNN/LSTM模型进行IMDb情感分析，使用Jupyter Notebook 编写的 Python代码，含建模及测试，代码注释清晰，十分适合新手
keras学习数据集
03-10
与IMDb数据集类似，这里的目标是多分类而非二分类。这个数据集适合学习多标签分类问题，可以使用卷积神经网络（CNN）或循环神经网络（RNN）处理文本，同时结合多层感知器（MLP）进行分类。Keras的`TextVectorization...
IMDB_Sentiment_Analysis:鉴于大量的在线评论数据（Amazon，IMDB等），情绪分析变得越来越重要。 在这个项目中，建立了一个情感分类器，用于评估一段文字的极性是正还是负。 情感分析是在Keras随附的IMDB数据集上完成的。 它由25,000个训练样本（其中20％是验证样本）和25,000个测试样本组成。 数据集中的所有单词均已预先标记。 使用自训练的单词嵌入（Keras嵌入层）。 我训练了不同的模型，其中一个模型包含一个LSTM层。 它在10个时元上的准确度为84％。 第二个示
04-19
IMDB_Sentiment_Analysis 鉴于大量的在线评论数据（Amazon，IMDB等），情绪分析变得越来越重要。 在这个项目中，建立了一个情感分类器，用于评估一段文字的极性是正还是负。 情感分析是在Keras随附的IMDB数据集上完成的。 它由25,000个训练样本（其中20％是验证样本）和25,000个测试样本组成。 数据集中的所有单词均已预先标记。 使用自训练的单词嵌入（Keras嵌入层）。 我训练了不同的模型，其中一个模型包含一个LSTM层。 它在10个时元上的准确度为84％。 第二个示例由两组Conv1D和MaxPooling1D图层组成，后面是标准GRU图层。 观察到85％的准确性。 我已经将CuDNN层用于LSTM和GRU，因为它们在GPU上的速度比标准LSTM和GRU层快得多。 所有实现都是使用Keras进行的。 另一个具有RMS Prop精度的示例为84％，而
IMDB电影评分正负数据集（3个版本的imdb_full.pkl,imdb.pkl以及imdb.npz）
01-19
IMDB电影评分正负数据集（3个版本的imdb_full.pkl,imdb.pkl以及imdb.npz），用于跑tensorflow的文本分类例程
基于Keras搭建一个简单的LSTM，用IMDB影评数据集对LSTM进行训练，完成模型的保存和加载以及测试。.zip
最新发布
05-22
LSTM (Long Short-Term Memory) 是一种特殊的循环神经网络（RNN）架构，用于处理具有长期依赖关系的序列数据。传统的RNN在处理长序列时往往会遇到梯度消失或梯度爆炸的问题，导致无法有效地捕捉长期依赖。LSTM通过...
2024-05-02 问AI: 介绍一下IMDB数据集
baidu_24377669的博客
05-02 946
IMDb数据集为自然语言处理领域的研究提供了一个很好的平台，研究人员可以在这个数据集上进行各种实验，以验证他们的算法和理论。同时，由于其广泛的覆盖面和详细的标注信息，IMDb数据集在教育和实践中也是一个宝贵的资源。综上所述，IMDB数据集是研究和实践情感分类的一个很好的起点，它提供了丰富的真实世界数据，可以帮助研究者和开发者在情感分析领域进行实验和模型训练。：IMDb数据集在学术和工业界都有广泛的应用，许多研究人员会在这个数据集上尝试新的算法和方法，并分享他们的成果。
[机器学习-实战篇]Imdb数据集情感分析之贝叶斯
Harry的博客
08-01 2296
一, 前言 1.Imdb影评的数据集介绍与下载 2.贝叶斯原理介绍 二，代码分析 preprocess_data() 方法包含以下步骤： 加载Imdb影评数据。 用数据训练CountVectorizer或者TfidfVectorizer。 保持CountVectorizer与TfidfVectorizer模型，因为预测的时候要用这两个模型把要预测的词转化为词向量。 保持转换为词向量的数据集。 def preprocess_data(): X_orig, Y_orig = get_data(acl
Tensorflow2.0 基于LSTM和GRU的IMDB情感分类
ziyi9663的博客
06-28 1242
Tensorflow2.0 基于LSTM和GRU的IMDB情感分类前言备注Talk is cheap, show me the code. 前言  Tensorflow2.0的学习笔记，教材基于开源的https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book  在GitHub上写笔记要经常查看很麻烦，在此记录一些整合的各种代码。能附上原文链接的都附上了，多数非原创，不要杠。  为即将到来的中文分类工作做知识储备 备注 基于IMDB影评数
【深度学习】-Imdb数据集情感分析之模型对比（3）- CNN
auroro1的博客
07-15 1642
本文主要构建了CNN这种更适合提取文本结构信息的模型，展开与之前有记忆型深度学习模型的对比。
Tensorflow2.0学习（五） — Keras基础应用（IMDb电影集情感分析)
Yohann的博客
11-19 1713
今天这一节内容是关于Keras应用分析的最后一节，在熟悉了Keras的基础知识之后，下面几节我们就可以正式接触Tensorflow2.0。根据博主多处查阅，最终还是发现Tensorflow的官方教程好一点，但是官方的代码很多没有注释，不方便初学者理解，因此下几节的内容会主要会针对Tensorflow2.0的官方文档的代码进行讲解和运行，在之后当我们对Tensorflow2.0有了一定了解，我会详细...
IMDB电影评论数据集 文本情感分类 循环神经网络 代码
06-02
好的，以下是使用循环神经网络（RNN）对IMDB电影评论数据集进行文本情感分类的代码： ```python import tensorflow as tf from tensorflow.keras.datasets import imdb from tensorflow.keras.layers import Embedding, LSTM, Dense from tensorflow.keras.models import Sequential from tensorflow.keras.preprocessing import sequence # 设置超参数 max_features = 20000 # 只考虑最常见的20,000个单词 max_len = 80 # 每个评论最多包含80个单词 embedding_size = 128 # 词向量的维度 # 加载IMDB电影评论数据集 (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features) # 对数据进行预处理 x_train = sequence.pad_sequences(x_train, maxlen=max_len) x_test = sequence.pad_sequences(x_test, maxlen=max_len) # 构建模型 model = Sequential() model.add(Embedding(max_features, embedding_size, input_length=max_len)) model.add(LSTM(units=128)) model.add(Dense(units=1, activation='sigmoid')) # 编译模型 model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # 训练模型 model.fit(x_train, y_train, batch_size=32, epochs=5, validation_data=(x_test, y_test)) ``` 这个代码中，我们首先导入了所需的库和类。然后，我们设置了一些超参数，包括每个评论最多包含的单词数、词向量的维度和我们要考虑的最常见的单词数。 接下来，我们使用 `imdb.load_data()` 函数从Keras中加载IMDB电影评论数据集，并将其分成训练集和测试集。 然后，我们对数据进行了预处理，使用 `sequence.pad_sequences()` 函数将每个评论的长度统一设置为 `max_len`，并使用零值填充序列。 接着，我们构建了一个简单的RNN模型，包括一个嵌入层、一个LSTM层和一个全连接层。我们使用 `model.compile()` 函数来编译模型，指定了损失函数、优化器和评价指标。 最后，我们使用 `model.fit()` 函数来训练模型，并在测试集上进行了验证。在这个例子中，我们将模型训练了5个epoch，使用批大小为32。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值