解读机器学习入门案例之IMDB数据集电影评论二分类

本文内容源于Python深度学习第三章3.4（基于keras的入门简单使用）

笔者利用google的colab（都0202年了，colab果真比本地的IDE,jupyter好用多了，速度杠杆的，还有免费的GPU，不过首先需要那个）平台进行演练后做的个人记录。

完整代码见最后，下面利用我个人的实验截图简单分析。
第一步，直接导入数据集，注意函数返回的四个值。num_words是指电影评论内容的单词设置为前10000个常用单词。
train_data其实是列表形式的二维数组，内层是由单词字母数字索引组成的评论，外层是评论的集合，这句话就是先比较内层的最大值，再比较外层的最大值

接下来可以有趣地看看电影评论究竟是啥内容，利用这个imdb_get_word_index()函数，单词字母–数字索引的字典，然后反转得到数字索引–单词字母的reverse_word_index字典，以trani——data[0]为例输出。

比如这个，影评是this film was just brilliant casting location scenery story direction everyone’s really suited the part they played and you could just imagine being there robert ? is an amazing…

下面是正式的网络训练部分，因为不能直接将列表数据输入神经网络，得先将列表转化成张量，对列表进行 one-hot 编码，将其转换为 0 和 1 组成的向量，下面是手动实现代码。

输入数据准备好了，开始构建、编译和训练模型。网络由三层全连接层Dense构成，传入 Dense 层的参数（16）是该层隐藏单元的个数。一个隐藏单元（hidden unit）是该层表示空间的一个维度。

对于这种 Dense 层的堆叠，你需要确定以下两个关键架构：
‰网络有多少层；
‰每层有多少个隐藏单元。

两个中间层，每层都有 16 个隐藏单元；
第三层输出一个标量，预测当前评论的情感。
中间层使用 relu 作为激活函数（函数将所有负值归零），
最后一层使用 sigmoid 激活以输出一个 0~1 范围内的概率值（表示样本的目标值等于 1 的可能性，即评论为正面的可能性）

epochss是迭代轮数，batch是每次顺利的数据规模大小

上面的文字看起来不直观，通过model.fit返回值里面的字典成员利用loss和accuracy可视化模块显示出来。

由此可以看出在第四轮epoct附近，验证数据的accuracy和loss是最好的，书上谈到这是过拟合的现象，模型在训练数据上的表现越来越好，但在前所未见的数据上不一定表现得越来越好,最简单的方法就是重新训练，把迭代次数降低到4。

model.evaluate(x_test,y_test)输入数据和标签,输出损失和精确度
model.predict(x_test)输入数据，输出预测结果，最后输出就是表示样本的目标值等于 1 的可能性。

完整代码(如果在jupyter Notebook类似平台分块运行可能会直观一些)：

from keras.datasets import imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(
 num_words=10000)

max([max(sequence) for sequence in train_data]) #最大的字母索引

word_index = imdb.get_word_index() 
reverse_word_index = dict(
 [(value, key) for (key, value) in word_index.items()])
decoded_review = ' '.join(
 [reverse_word_index.get(i - 3, '?') for i in train_data[0]])

print(decoded_review)

import numpy as np
def vectorize_sequences(sequences, dimension=10000):
 results = np.zeros((len(sequences), dimension)) 
 for i, sequence in enumerate(sequences):
  # print(i)
  # print(sequence)
  results[i, sequence] = 1. 
 return results
x_train = vectorize_sequences(train_data) 
x_test = vectorize_sequences(test_data)
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')

from keras import models
from keras import layers
model = models.Sequential()
model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))
model.add(layers.Dense(16, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(optimizer='rmsprop',
 loss='binary_crossentropy',
 metrics=['acc'])
x_val = x_train[:10000]
partial_x_train = x_train[10000:]
y_val = y_train[:10000]
partial_y_train = y_train[10000:]
history = model.fit(partial_x_train,
 partial_y_train,
 epochs=20,
 batch_size=512,
 validation_data=(x_val, y_val))

# history_dict=history.history
# history_dict.keys()

import matplotlib.pyplot as plt
history_dict = history.history
loss_values = history_dict['loss']
val_loss_values = history_dict['val_loss']
epochs = range(1, len(loss_values) + 1)
plt.plot(epochs, loss_values, 'bo', label='Training loss') 
plt.plot(epochs, val_loss_values, 'b', label='Validation loss') 
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

plt.clf() 
acc = history_dict['acc'] 
val_acc = history_dict['val_acc']
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()
plt.show()

model = models.Sequential()
model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))
model.add(layers.Dense(16, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(optimizer='rmsprop',
 loss='binary_crossentropy',
 metrics=['accuracy'])
model.fit(x_train, y_train, epochs=4, batch_size=512)

results = model.evaluate(x_test, y_test)
print(results)
model.predict(x_test)