自然语言处理 第二期

数据集下载探索模块：IMDB数据集（英文）和THUCNews数据集（中文）以及召回率、准确率、ROC曲线、AUC、PR曲线等基本概念的辨析

1. 数据集
   数据集：中、英文数据集各一份
   THUCNews中文数据集：https://pan.baidu.com/s/1hugrfRu 密码：qfud
   IMDB英文数据集： IMDB数据集 Sentiment Analysis
2. IMDB数据集下载和探索模块及指标学习模块
3. THUCNews数据集下载和探索
4. 学习召回率、准确率、ROC曲线、AUC、PR曲线这些基本概念

一、IMDB数据集下载和探索模块及指标学习模块

1. 下载：IMDB英文数据集： IMDB数据集 Sentiment Analysis
2. 探索

#导入模块
import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt

print(tf.__version__)

#下载IMDB数据集
imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

#探索数据
print("Training entries: {}, labels: {}".format(len(train_data), len(train_labels)))

#第一条影评
print(train_data[0])

#第一条和第二条影评中的字词数
len(train_data[0]), len(train_data[1])

#将整数转换为字词
word_index = imdb.get_word_index()

word_index = {
   k: (v+3) for k, v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] =