自然语言处理 第二期

数据集下载探索模块：IMDB数据集（英文）和THUCNews数据集（中文）以及召回率、准确率、ROC曲线、AUC、PR曲线等基本概念的辨析

1. 数据集
   数据集：中、英文数据集各一份
   THUCNews中文数据集：https://pan.baidu.com/s/1hugrfRu 密码：qfud
   IMDB英文数据集： IMDB数据集 Sentiment Analysis
2. IMDB数据集下载和探索模块及指标学习模块
3. THUCNews数据集下载和探索
4. 学习召回率、准确率、ROC曲线、AUC、PR曲线这些基本概念

一、IMDB数据集下载和探索模块及指标学习模块

1. 下载：IMDB英文数据集： IMDB数据集 Sentiment Analysis
2. 探索

#导入模块
import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt

print(tf.__version__)

#下载IMDB数据集
imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

#探索数据
print("Training entries: {}, labels: {}".format(len(train_data), len(train_labels)))

#第一条影评
print(train_data[0])

#第一条和第二条影评中的字词数
len(train_data[0]), len(train_data[1])

#将整数转换为字词
word_index = imdb.get_word_index()

word_index = {k: (v+3) for k, v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2
word_index["<UNUSED>"] = 3

reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])


def decode_review(text):
    return ' '.join([reverse_word_index.get(i, '?') for i in text])

#显示第一条影评的文本
decode_review(train_data[0])

#准备数据
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
                                                        value=word_index["<PAD>"],
                                                        padding='post',
                                                        maxlen=256)
test_data = keras.preprocessing.sequence.pad_sequences(test_data,
                                                       value=word_index["<PAD>"],
                                                       padding='post',
                                                       maxlen=256)

#样本长度
len(train_data[0]), len(train_data[1])

#检查（现已填充的）第一条影评
print(train_data[0])

#构建模型

vocab_size = 10000

model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16, activation=tf.nn.relu))
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))

model.summary()

#损失函数和优化器
model.compile(optimizer=tf.train.AdamOptimizer(),   #optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

#创建训练集
x_val = train_data[:10000]
partial_x_train = train_data[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

#训练模型
history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=40,
                    batch_size=512,
                    validation_data=(x_val, y_val),
                    verbose=1)

#评估模型
results = model.evaluate(test_data, test_labels)
print(results)

#创建准确率和损失随时间变化的图
history_dict = history.history
history_dict.keys()

#绘制训练损失与验证损失图表
acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']

epochs = range(1, len(acc) + 1)

plt.plot(epochs, loss, 'bo', label='Train loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

#绘制训练准确率与验证准确率图表
plt.clf()
acc_values = history_dict['acc']
val_acc_values = history_dict['val_acc']

plt.plot(epochs, acc, 'bo', label='Train acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.show()

二、THUCNews数据集下载和探索

1. THUCNews中文数据集：https://pan.baidu.com/s/1hugrfRu 密码：qfud
2. 探索
   将原数据处理生成子集，对数据进行预处理，之后用CNN卷积神经网络进行训练和验证，看准确率和误差，然后进行测试，比较准确率等。
   代码：
   https://github.com/gaussic/text-classification-cnn-rnn

三、召回率、准确率、ROC曲线、AUC、PR曲线的基本概念

一些概念的解释：

↑参考：https://www.jianshu.com/p/a4d3c393f9b5

1. 准确率(precision)
   所有预测为正分类中预测正确（原本就是正分类的）所占的比例
   
2. 召回率(Recall)
   对正分类的所有预测中，预测正确的比例
   
   <吴恩达课程中的解释>
   
3. 引入F1-Score作为综合指标，是为了平衡准确率和召回率的影响，较为全面地评价一个分类器。
   
   

概念再解释：
[http://www.fullstackdevel.com/computer-tec/data-mining-machine-learning/501.html]

4. ROC曲线
   在ROC曲线中，以FPR为x轴，TPR为y轴。
   FPR指实际负样本中被错误预测为正样本的概率。
   TPR指实际正样本中被预测正确的概率。如下图：
   

5. PR曲线
   在PR曲线中，以Recall（貌似翻译为召回率或者查全率）为x轴，Precision为y轴。
   Recall与TPR的意思相同，而Precision指正确分类的正样本数占总正样本的比例。
   
   如下图：
   

在ROC空间，ROC曲线越凸向左上方向效果越好。与ROC曲线左上凸不同的是，PR曲线是右上凸效果越好。

6. AUC
   AUC(Area Under Curve)即指曲线下面积占总方格的比例。有时不同分类算法的ROC曲线存在交叉，因此很多时候用AUC值作为算法好坏的评判标准。面积越大，表示分类性能越好。

参考资料：

TensorFlow官方教程：影评文本分类 | TensorFlow (https://tensorflow.google.cn/tutorials/keras/basic_text_classification)
科赛 - Kesci.com (https://www.kesci.com/home/project/5b6c05409889570010ccce90)
博客中的数据集部分和预处理部分：CNN字符级中文文本分类-基于TensorFlow实现 - 一蓑烟雨 - CSDN博客 (https://blog.csdn.net/u011439796/article/details/77692621)
text-classification-cnn-rnn/cnews_loader.py at mas…(https://github.com/gaussic/text-classification-cnn-rnn/blob/master/data/cnews_loader.py)
ROC曲线和PR曲线的联系
http://www.fullstackdevel.com/computer-tec/data-mining-machine-learning/501.html
简书
https://www.jianshu.com/p/a4d3c393f9b5