41.RNN循环网络-航空评论情感预测

已于 2022-04-08 09:25:01 修改
阅读量2.3k 收藏 8
点赞数 1
分类专栏： tensorflow笔记 文章标签： rnn 网络 深度学习
于 2021-12-13 15:33:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/potato123232/article/details/121906404
版权

RNN(循环神经网络)主要处理序列数据

LSTM就是循环神经网络，GRU也是一个循环神经网络

我们下面使用循环神经网络对航空评论数据集进行处理

航空评论数据集是这个名为Tweets的csv文件

我们打开看一下

数据集是脱敏处理过的，他的内容包含下列部分

  • tweet_id 推特id
  • airline_sentiment 对航空公司的情绪(积极[postive]，消极[negative],中性[neutral])
  • airline_sentiment_confidence 该航班的评分，该值用浮点数进行表示
  • negativereason 消极情绪的原因，这个是用户的留言，有的直接说是一次不好的飞行，有的说不能告诉你

  • negativereason_confidence 消极情绪的程度
  • airline 航空公司的名字，基本上都是Virgin America(维珍美国航空)
  • airline_sentiment_gold 航空情绪金。这一列是空的
  • name 这一列应该是推特的昵称
  • retweet_count 转发数量
  • text 文本

  • tweet_coord 推特坐标，这个应该是经纬度那种

  • tweet_created 发推特的时间

  • tweet_location 推特位置

  • 用户时区

我们使用上面提到的test与airline_sentiment，来预测一段评论是积极情绪还是消极情绪

下面是代码部分

目录

1  导入库

2  读取数据集

3  处理数据集

3.1  取出需要的两列

3.2  平衡积极与消极数据数量

3.3  乱序数据集

3.4  处理 airline_sentiment

3.5  处理 text

3.5.1  删去@内容，并将其正则化

3.5.2  用一个数字代表评论中的每一个单词

3.5.3  统一所有评论长度

4  创建网络

5  编译模型

6  训练模型

7  保存模型

8  预测模型

1  导入库

2  读取数据集

3  处理数据集

3.1  取出需要的两列

读取后我们取出airline_sentiment和test这两列

我们看一下现在的data

发现只有这两列内容了

我们用unique看一下是否在这一列只有三种值

发现只有这三种值

之后我们使用value_counts,看一下每个值的数量

发现消极评论居多，其次是中性，最后是好评

3.2  平衡积极与消极数据数量

我们在本次训练只判断是积极情绪或是消极情绪，现在我们需要保证数据的均衡，消极评论远大于积极评论是对训练结果有影响的，所以我们现在取出2363个消极评论与积极评论

  • iloc是取该列的前若干行

这样我们积极数据与消极数据都是2363个了，现在我们把两种评论合起来

之后我们看一下data的shape

发现有4726行，2列

3.3  乱序数据集

我们现在使用sample对其进行乱序

3.4  处理 airline_sentiment

下面我们对数据集进行处理，我们用0表示negative，用1表示positive

现在data中就加入了attitude这一列，这一列的0是消极评论，1是积极评论，之后我们就可以把airline_sentiment删掉了

我们看一下当前的data

3.5  处理 text

3.5.1  删去@内容，并将其正则化

这些@是字符是不影响评论是积极还是消极的，所以我们要把他消除掉

我在这里做个例子

这样就能得到消除了所有@内容的字符

之后我们再使用正则，提取字符A-Z,a-z,和另外六个字符，之后我们再将其赋值给data中的text

我们现在看一下data

发现前面是处理好的语句，后面是对应的态度

3.5.2  用一个数字代表评论中的每一个单词

我们先看一下评论有多少个英文单词(包括叹号这种符号)

我们看一下当前word_set的长度，此处要加1，因为后面我们会把未正则的字符归到0

是6789个，由于每次随机的评论内容不同，所以单词量也会有所变化

之后我们给每一个单词一个索引值，之后做成一个字典，由于我们会有不在正则范围内的字符，我们将其归到索引0，所以我们在字典中从1开始索引，之后我们看一下word_dict

我们要给这里print出来的结果复制出来，之后预测的时候我们要用

然后我们把索引后的值给到一个新的变量data_comment

3.5.3  统一所有评论长度

我们首先找到最大评论的长度

之后我们把评论填充到longest_comment这样长

4  创建网络

Embedding的50是神经元个数，LSTM的64也是神经元个数，我们可以自定

我们看一下这个模型

5  编译模型

6  训练模型

  • validation_split的意思是指定一部分数据作为测试数据，我当前使用的是0.2，也就是20%的数据作为测试数据

我们的数据量不大，速度很快，所以就不加入检查点了，只训练了10个epoch，我们直接看给出的结果就行了

最终发现准确度是0.87左右，还能看

7  保存模型

8  预测模型

我们发现每一个词都有它的情感趋向，我们定义的是0为消极，1为积极

我们可以对这三个结果进行处理

我们再加上not看一下

机器学习：基于神经网络对用户评论情感分析预测
阿极的博客
03-04 3660
神经网络模型的思想来源于模仿人类大脑思考的方式。神经元是神经系统最基本的结构和功能单位，分为突起和细胞体两部分。突起作用是接受冲动并传递给细胞体，细胞体整合输入的信息并传出。 人类大脑在思考时，神经元会接受外部的刺激，当传入的冲动使神经元的电位超过阈值时，神经元就会从抑制转向兴奋，并将信号向下一个神经元传导。神经网络的思想是通过构造人造神经元的方式模拟这一过程。
[Python人工智能] 十四.循环神经网络LSTM RNN回归案例之sin曲线预测
杨秀璋的专栏
01-10 1万+
从本专栏开始，作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前一篇文章详细讲解了如何评价神经网络，绘制训练过程中的loss曲线，并结合图像分类案例讲解精确率、召回率和F值的计算过程。本篇文章将分享循环神经网络LSTM RNN如何实现回归预测，通过sin曲线拟合实现如下图所示效果。本文代码量比较长，但大家还是可以学习下的。基础性文章，希望对您有所帮助！
情感分析：使用循环神经网络
yingzi的技术博客
10-09 2211
在下面的BiRNN类中，虽然文本序列的每个词元经由嵌入层（self.embedding）获得其单独的预训练GloVe表示，但是整个序列由双向循环神经（self.encoder）编码。我们将使用预训练的Glove模型来表示每个词元，并将这些词元表示送入多层双向循环神经网络以获得文本序列表示，该文本序列表示将被转换为情感分析输出，对于相同的下游应用，我们将考虑不同的架构选择。我们使用这些预训练的词向量来表示评论中的词元，并且在训练期间不要更新这些向量。最后，让我们使用训练好的模型对两个简单的句子进行情感预测。
tensorflow2.3 + 循环神经网络 实现航空公司评论分类预测(RNN + LSTM)(二）
JerryZhang1111的博客
05-06 655
tensorflow2.3实现航空公司评论数据 导入包 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt import glob 显存自适应分配，查看tensorflow 的版本 os.environ["CUDA_VISIBLE_DEVICES"] = "1" tf.__version__ ‘2.3.0’ 读取数据 data = pd.read_csv('./dataset/Tweets.csv')
Twitter US Airline Sentiment Twitter 美国航空情绪-数据集
03-12
分析2015年2月旅行者在Twitter上的感受 Tweets.csv Twitter US Airline Sentiment Twitter_datasets.txt
RNN学习：利用LSTM，GRU层解决航空公司评论数据预测问题
theworld666的博客
02-06 2068
RNN学习：利用LSTM，GRU解决航空公司评论数据预测问题 文章目录RNN学习：利用LSTM，GRU解决航空公司评论数据预测问题1.RNN的介绍1.1 LSTM的简单介绍1.2 GRU的简单介绍2.数据集的介绍3.读取数据并作预处理4.模型的搭建结语 1.RNN的介绍 ​ RNN，即循环神经网络，即一般的神经网络同层节点与节点之间并无连接，比如CNN隐藏单元之间并没有连接，那么这相对于一些序列问题上的处理就会效果很差。如翻译单词，全文的意思必须是根据所有单词来进行判断。或判断说话人情绪，评论好坏，最终的
【预测模型】基于matlab RNN循环神经网络预测【含Matlab源码 363期】
订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份；
02-22 7197
RNN循环神经网络预测 完整代码和数据，数据可直接替换，适合小白！可提供运行操作视频！
【深度学习模型】循环神经网络RNN
florrie
06-26 1736
理解循环神经网络RNN及重要结构LSTM 循环神经网络（recurrent neural network，RNN）是专门用于处理序列数据的深度学习模型，其广泛应用在自然语言处理、语音识别、情感分析、机器翻译等领域。 RNN的网络结构 在循环神经网络中，一个非常重要的概率就是时刻，因为序列是按照时刻输入的。循环神经网络会对每个时刻的输入结合当前模型的状态给出一个输出。其标准的网络结构为： 其中x为...
Keras深度学习实战——使用循环神经网络构建情感分析模型
盼小辉丶的博客
10-05 6040
我们已经了解循环神经网络 (Recurrent neural networks, RNN) 的基本原理，并且在 Keras 中实现了 RNN 模型，在本节中，我们介绍了如何构建 RNN 模型进行航空推文情感分类。
深度学习理论与应用 课件 7 循环神经网络.pptx
04-19
- **7.1 一个简单的循环神经网络 —— 航空旅客出行人数预测** - **目标**：构建一个简单的 RNN 模型，用于预测国际航空公司每月旅客出行人数。 - **数据集介绍**：数据集包含了 1949 年至 1960 年间每月的旅客...
twitter-airline-sentiment.zip
11-04
twitter论坛上 对于某航空公司的评论数据，可用于大数据情感分析
twitterlocation
03-17
twitterlocation.py 推测推文的发源地和国家/地区。 待办事项：测试准确性。 伪代码： 使用推特坐标（如果有） （其他）使用带标签的推文位置（如果有） （其他）使用用户个人资料位置（如果有） （其他）使用最多十个关注者的位置（如果有） 确保安装Tweepy和googlemaps，在config.py中输入您自己的API密钥，并在导入为模块时捕获异常。
基于RNN(循环神经网络)的北京雾霾天气指数的预测（keras实现RNN,LSTM神经网络算法)
热门推荐
haosen
07-02 1万+
随着科学技术的发展，人们渴望对天气有一定的掌握空间，从古代的夜观天象到如今的气象卫星，人类在对天气的预测上不断的进步与发展，本文将运用循环神经网络实现对天气情况的初步预测，循环神经网络是人工智能领域深度学习的一种算法，基于对时间序列事情的处理能达到特别好的效果，而天气影响因素恰恰是基于时间序列的。我们通过神经网络模型对影响天气因素的学习，比如：风速、风向、露点温度、（大气）压力等一系列外观因素可以...
twitter 情感分析_使用ulmfit进行Twitter情感分析
weixin_26731327的博客
10-11 1246
twitter 情感分析In today’s modern world, where we are suffering from overloaded data, companies often are gathering tonnes of data regarding customer feedback, shopping behavior, etc. Companies can dexter...
卷积神经网络-最优模型
最新发布
2301_77698138的博客
09-24 1442
首先，需要明确一个或多个评估指标来衡量模型性能，如准确率（accuracy）、损失值（loss）等。在分类任务中，准确率是常用的评估指标；而在某些情况下，如果类别不平衡，可能需要使用其他指标如F1分数或精确率与召回率的组合。
中文评论情感分类——RNN模型
qq_57390446的博客
04-13 2112
利用TensorFlow训练一个中文文本情感二分类的RNN模型，涉及了LSTM算法
如何使用PHP机器学习分析推文情感
culi4814的博客
08-23 527
机器学习 情感分析This article was peer reviewed by Wern Ancheta. Thanks to all of SitePoint’s peer reviewers for making SitePoint content the best it can be! 本文由Wern Ancheta进行同行评审。 感谢所有SitePoint的同行评审人员使SiteP...
微博评论情感分析（NLP，LSTM）
qq_44886972的博客
05-06 1万+
主要工作就是通过对120000条微博评论的数据集训练模型，预测评论的情绪倾向，将情绪结果简单的分为积极情绪和消极情绪。虽然在训练集和测试集上表现的不错，但是经过自己的手动测试发现效果不太好。原因应该是数据集的数据质量不高，没有做数据清洗（后续可以尝试）其中的很多评论会掺杂很多一些符号表情的代码和@符号。尽管如此，本文的代码是可以套用到别的数据集中的，如果有需要可以使用自制数据集获得更好的模型。希望本文的整套流程可以为朋友们带来一些帮助。PS：全篇实现过程全部为套用别的文章，如有雷同，算我抄袭。
【深度学习】RNN模型训练MNIST数据集
哈哈
08-07 1782
根据pytorch官网的要求，构建RNN模型，部分代码参考自网上教程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Suyuoa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值