自然语言处理 第二期

这篇博客介绍了自然语言处理中的数据集IMDB和THUCNews,详细讲解了召回率、准确率、ROC曲线、AUC和PR曲线的基本概念,并提供了相关资源和代码链接。
摘要由CSDN通过智能技术生成

数据集下载探索模块:IMDB数据集(英文)和THUCNews数据集(中文)以及召回率、准确率、ROC曲线、AUC、PR曲线等基本概念的辨析

  1. 数据集
    数据集:中、英文数据集各一份
    THUCNews中文数据集:https://pan.baidu.com/s/1hugrfRu 密码:qfud
    IMDB英文数据集: IMDB数据集 Sentiment Analysis
  2. IMDB数据集下载和探索模块及指标学习模块
  3. THUCNews数据集下载和探索
  4. 学习召回率、准确率、ROC曲线、AUC、PR曲线这些基本概念

一、IMDB数据集下载和探索模块及指标学习模块

  1. 下载:IMDB英文数据集: IMDB数据集 Sentiment Analysis
  2. 探索
#导入模块
import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt

print(tf.__version__)
#下载IMDB数据集
imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

#探索数据
print("Training entries: {}, labels: {}".format(len(train_data), len(train_labels)))

#第一条影评
print(train_data[0])

#第一条和第二条影评中的字词数
len(train_data[0]), len(train_data[1])

#将整数转换为字词
word_index = imdb.get_word_index()

word_index = {k: (v+3) for k, v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2
word_index["<UNUSED>"] = 3

reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])


def decode_review(text):
    return ' '.join([reverse_word_index.get(i, '?') for i in text])

#显示第一条影评的文本
decode_review(train_data[0])
#准备数据
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
                                                        value=word_index["<PAD>"],
                                                        padding='post',
                                                        maxlen=256)
test_data = keras.preprocessing.sequence.pad_sequences(test_data,
                                                       value=word_index["<PAD>"],
                                                       padding='post',
                                                       maxlen=256)

#样本长度
len(train_data[0]), len(train_data[1])

#检查(现已填充的)第一条影评
print(train_data[0])

#构建模型

vocab_size = 10000

model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16, activation=tf.nn.relu))
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))

model.summary()

#损失函数和优化器
model.compile(optimizer=tf.train.AdamOptimizer(),   #optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

#创建训练集
x_val = train_data[:10000]
partial_x_train = train_data[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

#训练模型
history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=40,
                    batch_size=512,
                    validation_data=(x_val, y_val),
                    verbose=1)

#评估模型
results = model.evaluate(test_data, test_labels)
print(results)

#创建准确率和损失随时间变化的图
history_dict = history.history
history_dict.keys()
#绘制训练损失与验证损失图表
acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']

epochs = range(1, len(acc) + 1)

plt.plot(epochs, loss, 'bo', label='Train loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

#绘制训练准确率与验证准确率图表
plt.clf()
acc_values = history_dict['acc']
val_acc_values = history_dict['val_acc']

plt.plot(epochs, acc, 'bo', label='Train acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.show()

二、THUCNews数据集下载和探索

  1. THUCNews中文数据集:https://pan.baidu.com/s/1hugrfRu 密码:qfud
  2. 探索
    将原数据处理生成子集,对数据进行预处理,之后用CNN卷积神经网络进行训练和验证,看准确率和误差,然后进行测试,比较准确率等。
    代码:
    https://github.com/gaussic/text-classification-cnn-rnn

三、召回率、准确率、ROC曲线、AUC、PR曲线的基本概念

一些概念的解释:
区别
↑参考:https://www.jianshu.com/p/a4d3c393f9b5

  1. 准确率(precision)
    所有预测为正分类中预测正确(原本就是正分类的)所占的比例
    公式
  2. 召回率(Recall)
    对正分类的所有预测中,预测正确的比例
    公式
    <吴恩达课程中的解释>
    Andrew Ng
  3. 引入F1-Score作为综合指标,是为了平衡准确率和召回率的影响,较为全面地评价一个分类器。
    F1
    公式

概念再解释:
[http://www.fullstackdevel.com/computer-tec/data-mining-machine-learning/501.html]
在这里插入图片描述
在这里插入图片描述

  1. ROC曲线
    在ROC曲线中,以FPR为x轴,TPR为y轴。
    FPR指实际负样本中被错误预测为正样本的概率。
    TPR指实际正样本中被预测正确的概率。如下图:
    ROC

  2. PR曲线
    在PR曲线中,以Recall(貌似翻译为召回率或者查全率)为x轴,Precision为y轴。
    Recall与TPR的意思相同,而Precision指正确分类的正样本数占总正样本的比例。
    在这里插入图片描述
    如下图:
    PR

在ROC空间,ROC曲线越凸向左上方向效果越好。与ROC曲线左上凸不同的是,PR曲线是右上凸效果越好。

  1. AUC
    AUC(Area Under Curve)即指曲线下面积占总方格的比例。有时不同分类算法的ROC曲线存在交叉,因此很多时候用AUC值作为算法好坏的评判标准。面积越大,表示分类性能越好。

参考资料:

TensorFlow官方教程:影评文本分类 | TensorFlow (https://tensorflow.google.cn/tutorials/keras/basic_text_classification)
科赛 - Kesci.com (https://www.kesci.com/home/project/5b6c05409889570010ccce90)
博客中的数据集部分和预处理部分:CNN字符级中文文本分类-基于TensorFlow实现 - 一蓑烟雨 - CSDN博客 (https://blog.csdn.net/u011439796/article/details/77692621)
text-classification-cnn-rnn/cnews_loader.py at mas…(https://github.com/gaussic/text-classification-cnn-rnn/blob/master/data/cnews_loader.py)
ROC曲线和PR曲线的联系
http://www.fullstackdevel.com/computer-tec/data-mining-machine-learning/501.html
简书
https://www.jianshu.com/p/a4d3c393f9b5

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值