深度学习2.0-38.RNN实战-情感分类实战

最新推荐文章于 2024-03-11 23:59:43 发布
最新推荐文章于 2024-03-11 23:59:43 发布
阅读量335 收藏 4
点赞数
文章标签： 深度学习 tensorflow RNN实战
本BLOG上原创文章未经本人许可，不得用于商业用途，转载请注明出处。
本文链接：https://blog.csdn.net/weixin_46649052/article/details/109078595
版权
本文详细介绍了使用Tensorflow实现RNN情感分类的实践过程，包括单个SimpleRNNCell、两个SimpleRNNCell以及RNNCell的具体代码实现，旨在帮助读者深入理解RNN在深度学习中的应用。
摘要由CSDN通过智能技术生成

文章目录

1.方案

在这里插入图片描述
在这里插入图片描述

2.代码实现-一个SimpleRNNCell

import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

import numpy as np
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers, optimizers, Sequential, losses

tf.random.set_seed(22)
np.random.seed(22)
assert tf.__version__.startswith('2.')

# 数据集加载
# imdb是一个电影评论的数据集
# 将生僻单词归结为一个单词(未知单词)，total_words表示常见单词的数量
total_words = 10000
max_review_len = 80  # 设置句子长度
batchsz = 64
embedding_len = 100
(x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=total_words)

# pad，将句子长度padding成一个长度，方便用一个线性层来处理
# x_train :[b,80]  x_test : [b,80]
x_train = keras.preprocessing.sequence.pad_sequences(x_train, maxlen=max_review_len)
x_test = keras.preprocessing.sequence.pad_sequences(x_test, maxlen=max_review_len)

# 构建数据集
db_train = tf.data.Dataset.from_tensor_slices((x_train, y_train))
# drop_remainder=True表示当最后一个bath小于batchsz时，会将最后一个batch丢弃掉
db_train = db_train.shuffle(1000).batch(batchsz, drop_remainder=True)
db_test = tf.data.Dataset.from_tensor_slices((x_test, y_test))
db_test = db_test.batch(batchsz, drop_remainder=True)
print('x_train shape:', x_train.shape, tf.reduce_max(y_train), tf.reduce_min(y_train))
print('x_test shape:', x_test.shape)


# 构建网络结构
class MyRNN(keras.Model):
    def __init__(self, units):
        super(MyRNN, self).__init__()
        # [b,64]
        self.state0 = [tf.zeros([batchsz, units])]

        # transfrom test to embedding representation
        # [b,80] => [b,80,100]     每个单词用一个100维的向量来表示
        self.embedding = layers.Embedding(total_words, embedding_len, input_length=max_review_len)

        # 将句子单词的数量在时间轴上展开
        # [b,80,100] => [b,64]  ,h_dim : 64
        # RNN : cell1.cell2.cell3
        # SimpleRNN已经在内部完成了时间轴上的展开
        # 在这一层上training与test的逻辑是不一样的
        self.rnn_cell0 = layers.SimpleRNNCell(units, dropout=0.5)

        # outlayer , [b,64] => [b,1]
        self.outlayer = layers.Dense(1)  # 1个输出结点

    #  定义前向传播
    def call(self, inputs, training=None):
        """
        train mode : net(x),net(x,training=True)
        test mode : net(x,training=False)
        :param inputs: [b,80]
        :param training: 通过设置training参数来设置是否断掉短路连接(dropout是否起作用)
        :return:
        """
        # [b,80]
        x = inputs
        # embedding : [b,80] => [b,80,100]
        x = self.embedding(x)
        # rnn cell compute
        # [b,80,100] => [b,64]
        state0 = self.state0
        # word : [b,100]
        for word in tf.unstack(x, axis=1):  # tf.unstack(x,axis=1)表示对x在1维上进行展开
            # h_t = x_t*w_xh + h_t-1 * w_hh , 输入状态word，历史化状态state
            # 　out,state1是相同的，只是为了与rnn作match，这种情况两者返回是不同的
            # training为True时，使用dropout;training为False时，不使用dropout
            out, state1 = self.rnn_cell0(word, state0,training)
            # 重新赋值做循环
            state0 = state1

        # 累积的所有的单词的语义信息
        # out : [b,64] => [b,1]
        x = self.outlayer(out)
        prob = tf.sigmoid(x)

        return prob


def main():
    units = 64
    epochs = 4

    model = MyRNN(units)
    # 模型训练
    model.compile(optimizer = optimizers.Adam(lr = 1e-3),
                  loss = tf.losses.BinaryCrossentropy(),
                  metrics = ['accuracy'],
                  experimental_run_tf_function=False)       # 增加这一行即可解决


    model.fit(db_train, epochs=epochs, validation_data=db_test)
	# test
    model.evaluate(db_test)


if __name__ == '__main__':
    main()

x_train shape: (25000, 80) tf.Tensor(1, shape=(), dtype=int64) tf.Tensor(0, shape=(), dtype=int64)
x_test shape: (25000, 80)

Epoch 4/4
 1/97 [..............................] - ETA: 2s - loss: 0.1859 - accuracy: 0.9141
 3/97 [..............................] - ETA: 2s - loss: 0.2098 - accuracy: 0.9136
 5/97 [>.............................] - ETA: 2s - loss: 0.2274 - accuracy: 0.9094
 7/97 [=>............................] - ETA: 2s - loss: 0.2337 - accuracy: 0.9061
 9/97 [
最低0.47元/天 解锁文章
哎呦-_-不错
关注
循环神经网络 (RNN) 原理与代码实例讲解
程序员光剑
07-05 1101
循环神经网络 (RNN) 原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在处理序列数据时，如文本、语音或时间序列数据，传统的方法如卷积神经网络（CNN）和深度神经网络（DNN）往往难以捕捉到序列间的依赖关系。例如，文本中的句子
【PyTorch深度学习项目实战100例目录】项目详解 + 数据集 + 完整源码
CSDN 精品推荐
09-30 8万+
大家好，我是阿光。本专栏整理了《深度学习100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。正在更新中~ ✨。
RNN情感分类问题实战
Keep_Trying_Go的博客
05-08 472
import tensorflow as tf import numpy as np import tensorflow as keras from tensorflow.keras import losses,Sequential,optimizers,layers,datasets batchsz=128#批量大小 total_words=10000#词汇表大小N_vocab max_review_len=80#句子最大长度 s，大于的句子部分将截断，小于的将填充 embedding_len=100#
NLP情感分类项目实战--使用Bert做一个情感分类项目 目楽的文章
weixin_43823140的博客
06-22 7362
Bert情感分类问题描述数据分析Bert简述与使用Bert训练过程总结参考资料 问题描述 之前参加了DataFountain上的‘疫情期间网民情绪识别’的挑战赛，最终成绩是Top5%。达到了0.734的成绩，挑战赛主要内容是分析疫情期间的用户微博极性，分为消极-1，中性0以及积极1三种。本篇文章主要是对数据进行一定分析和做一个通过以该数据为基础的bert实战记录。相信通过这篇文章，使用bert等工具也可以轻车熟路。 数据分析 数据来源：疫情期间网民情绪识别-DataFountain：数据包括俩个部分： 训
Spark机器学习实战 (十一) - 文本情感分类项目实战
weixin_33786077的博客
04-19 284
0 相关源码 将结合前述知识进行综合实战，以达到所学即所用。文本情感分类这个项目会将分类算法、文本特征提取算法等进行关联，使大家能够对Spark的具体应用有一个整体的感知与了解。 1 项目总体概况 2 数据集概述 数据集 3 数据预处理 4 文本特征提取 官方文档介绍 提取，转换和选择特征 本节介绍了使用特征的算法，大致分为以下几组： 提取：从“原始”数据中提取特征 转换：缩放，转...
情感分类实战
weixin_62728271的博客
02-15 278
一、Load Dataset 二、Network 三、Load word embedding 四、Train 五、test
深度学习之循环神经网络（5）RNN情感分类问题实战
weixin_43360025的博客
10-05 2439
深度学习之循环神经网络（5）RNN情感分类问题实战1. 数据集2. 网络模型3. 训练与测试完整代码运行结果  现在利用基础的RNN网络来挑战情感分类问题。网络结构如下图所示，RNN网络共两层，循环提取序列信号的语义特征，利用第2层RNN层的最后时间戳的状态向量hs(2)\boldsymbol h_s^{(2)}hs(2)​作为句子的全局语义特征表示，送入全连接层构成的分类网络3，得到样本x\boldsymbol xx为积极情感的概率P(x为积极情感│x)∈[0,1]P(\boldsymbol x为积极情感
TensorFlow练手项目一：使用循环神经网络(RNN)实现影评情感分类
笔墨留年。
03-14 1万+
使用循环神经网络(RNN)实现影评情感分类 作为对循环神经网络的实践，我用循环神经网络做了个影评情感的分类，即判断影评的感情色彩是正面的，还是负面的。 选择使用RNN来做情感分类，主要是因为影评是一段文字，是序列的，而RNN对序列的支持比较好，能够“记忆”前文。虽然可以提取特征词向量，然后交给传统机器学习模型或全连接神经网络去做，也能取得很好的效果，但只从端对端的角度来看的话，RNN无疑是最合...
Python-TensorFlow20入门实战案例教程CNNRNNGAN等
08-11
【Python-TensorFlow 2.0 入门实战案例教程：CNN、RNN、GAN等】 在当今的机器学习领域，Python 和 TensorFlow 是最流行的工具之一。TensorFlow 2.0 的发布带来了许多改进和新特性，使得深度学习模型的构建更加直观...
TensorFlow-2.0和深度学习：TensorFlow 2.0和深度学习培训
02-20
7. **实战项目**：可能包含一些实际问题的解决案例，如图像分类、文本情感分析等。 通过这个培训，学习者不仅可以掌握 TensorFlow 2.0 的基本操作，还能深入了解深度学习的原理和实践，为今后的机器学习项目打下...
自然语言处理——BERT情感分类实战(一)之预处理
12-22
写在前面 网上已经有很多文章对BERT的原理讲得很清楚了，今天我将以实战的方式（假装大家都懂原理≧◔◡◔≦）一步步带大家操作最近比较流行的BERT模型。源代码是pytorch版本。由于篇幅比较长我将分几个部分讲解。第一部分是数据的预处理。这一部分比较简单，但也很重要！ 数据的预处理 对文本处理大致分为六个步骤，如图： 【注】本实验平台为Colab 预处理前需要导入的包： !pip install transformers #注：此为使用Colab安装方法 import torch from transformers import BertModel, BertTokenizer 预训练模
基于循环神经网络的自然语言情感分类实例
04-26
本例包含reddit论坛数据集，使用rnn对论坛留言进行情感分类。是rnn入门的简单易学教程。
最适合入门的100个深度学习项目
热门推荐
CSDN 精品推荐
10-17 10万+
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
RNN实战
最新发布
weixin_42924890的博客
03-11 1185
利用pytorch的RNN模型训练多分类任务。
【NLP实战】基于Bert和双向LSTM的情感分类【中篇】
issey的博客
04-10 6706
本文为该系列第二篇文章，在本文中，我们将学习如何用pytorch搭建我们需要的Bert+Bilstm神经网络，如何用pytorch lightning改造我们的trainer，并开始在GPU环境我们第一次正式的训练。在这篇文章的末尾，我们的模型在测试集上的表现将达到排行榜28名的位置。
【干货】--手把手教你完成文本情感分类
R语言中文社区
01-04 4643
作者：刘顺祥个人微信公众号：每天进步一点点2015前言      2017年12月9日，参加了天善组织的线下沙龙活动，在沙龙中自己分享了如何借助于R语言完成情感分析的案例，考虑的其他网友没能够参与到活动现场，这里通过微信公众号作一个简单的分享。      在文本分析中，最基础的工作就是如何完成句子、段落或文章的分词，当然这一步也是非常重要的，因为这会直接影响后面文档词条矩阵的构造和模型的有效性。一
十三、RNN循环神经网络实战
beyond谚语的博客
04-11 1274
《PyTorch深度学习实践》课后作业
【NLP实战】基于Bert和双向LSTM的情感分类【下篇】
issey的博客
04-11 3617
本文为该系列第三篇文章，也是最后一篇。本文共分为两部分，在第一部分，我们将学习如何使用pytorch lightning保存模型的机制、如何读取模型与对测试集做测试。第二部分，我们将探讨前文遇到的过拟合问题，调整我们的超参数，进行第二轮训练，并对比两次训练的区别。我们还将基于pytorch lightning实现回调函数，保存训练过程中val_loss最小的模型。最后，将我们第二轮训练的best model进行评估，这一次，模型在测试集上的表现将达到排行榜第13位。
1. ARIMA 2. SARIMA 3. VAR 4. Auto-ARIMA 5. Auto-SARIMA 6. LSTM 7. GRU 8. RNN 9. CNN 10. MLP 11. DNN 12. MLP-LSTM 13. MLP-GRU 14. MLP-RNN 15. MLP-CNN 16. LSTM-ARIMA 17. LSTM-MLP 18. LSTM-CNN 19. GRU-ARIMA 20. GRU-MLP 21. GRU-CNN 22. RNN-ARIMA 23. RNN-MLP 24. RNN-CNN 25. CNN-ARIMA 26. CNN-MLP 27. CNN-LSTM 28. CNN-GRU 29. ARIMA-SVM 30. SARIMA-SVM 31. VAR-SVM 32. Auto-ARIMA-SVM 33. Auto-SARIMA-SVM 34. LSTM-SVM 35. GRU-SVM 36. RNN-SVM 37. CNN-SVM 38. MLP-SVM 39. LSTM-ARIMA-SVM 40. LSTM-MLP-SVM 41. LSTM-CNN-SVM 42. GRU-ARIMA-SVM 43. GRU-MLP-SVM 44. GRU-CNN-SVM 45. RNN-ARIMA-SVM 46. RNN-MLP-SVM 47. RNN-CNN-SVM 48. CNN-ARIMA-SVM 49. CNN-MLP-SVM 50. CNN-LSTM-SVM 51. CNN-GRU-SVM 52. ARIMA-RF 53. SARIMA-RF 54. VAR-RF 55. Auto-ARIMA-RF 56. Auto-SARIMA-RF 57. LSTM-RF 58. GRU-RF 59. RNN-RF 60. CNN-RF 61. MLP-RF 62. LSTM-ARIMA-RF 63. LSTM-MLP-RF 64. LSTM-CNN-RF 65. GRU-ARIMA-RF 66. GRU-MLP-RF 67. GRU-CNN-RF 68. RNN-ARIMA-RF 69. RNN-MLP-RF 70. RNN-CNN-RF 71. CNN-ARIMA-RF 72. CNN-MLP-RF 73. CNN-LSTM-RF 74. CNN-GRU-RF 75. ARIMA-XGBoost 76. SARIMA-XGBoost 77. VAR-XGBoost 78. Auto-ARIMA-XGBoost 79. Auto-SARIMA-XGBoost 80. LSTM-XGBoost 81. GRU-XGBoost 82. RNN-XGBoost 83. CNN-XGBoost 84. MLP-XGBoost 85. LSTM-ARIMA-XGBoost 86. LSTM-MLP-XGBoost 87. LSTM-CNN-XGBoost 88. GRU-ARIMA-XGBoost 89. GRU-MLP-XGBoost 90. GRU-CNN-XGBoost 91. RNN-ARIMA-XGBoost 92. RNN-MLP-XGBoost 93. RNN-CNN-XGBoost 94. CNN-ARIMA-XGBoost 95. CNN-MLP-XGBoost 96. CNN-LSTM-XGBoost 97. CNN-GRU-XGBoost 98. ARIMA-ANN 99. SARIMA-ANN 100. VAR-ANN 上面这些缩写模型的全称及相关用途功能详细解释
07-15
11. DNN (Deep Neural Network): 深度神经网络，具有多个隐藏层的神经网络模型，能够学习更复杂的特征表示。 12. MLP-LSTM: 结合了多层感知机和长短期记忆网络的模型，用于时间序列数据的建模和预测。 13. MLP-GRU...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值