《Python 深度学习》3.4 电影评论分类：二分类问题（代码）

Classifying movie reviews: a binary classification example

        本节使用 IMDB 数据集，它包含来自互联网电影数据库（IMDB）的 50 000 条严重两极分化的评论。数据集被分为用于训练的 25 000 条评论与用于测试的 25 000 条评论，训练集和测试集都包含 50% 的正面评论和 50% 的负面评论。

（由于是在Jupyter Notebook上直接copy下来的，所以使用时请记得注意。）

## 1. 加载IMDB数据集

import numpy as np
from tensorflow.keras.datasets import imdb
(train_data,train_labels),(test_data,test_labels)=imdb.load_data(num_words=10000)

train_data[0]

train_labels[0]

## 2. 将整数序列编码为二进制矩阵

def vectorize_sequences(sequences,dimension=10000): #创建一个形状为（len（sequences），dimension）的零矩阵
    results = np.zeros((len(sequences),dimension))
    for i, sequence in enumerate(sequences): #enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。
        results[i,sequence]=1. #将result[i]的指定索引设为1
    return results

x_train = vectorize_sequences(train_data) #将训练数据向量化
x_test = vectorize_sequences(test_data) #将测试数据向量化

x_train[0]

y_train = np.asarray(train_labels).astype('float32') #将标签向量化
y_test = np.asarray(test_labels).astype('float32')

## 3. 模型定义

from tensorflow.keras import models
from tensorflow.keras import layers

model = models.Sequential()
model.add(layers.Dense(16,activation='relu',input_shape=(10000,)))
model.add(layers.Dense(16,activation='relu'))
model.add(layers.Dense(1,activation='sigmoid'))

## 4. 编译模型

# model.compile(optimizer="rmsprop",
#               loss="binary_cross",
#               metrics=['accuracy'])

## 5. 配置优化器

from tensorflow.keras import optimizers

model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy'])

## 6. 使用自定义的损失和指标

# from tensorflow.keras import losses
# from tensorflow.keras import metrics #Metrics作为一款监控指标的度量类库，提供了许多工具帮助开发者来完成各项数据的监控。
# from tensorflow.keras.optimizers import RMSprop

# model.compile(optimizer=RMSprop(lr=0.001),
#               #loss=losses.binary_crossentroy,
#               loss = 'binary_crossentropy',
#               metrics=[metrics.binary_accuracy])

## 7. 留出验证集

x_val = x_train[:10000]
partial_x_train = x_train[10000:]
y_val = y_train[:10000]
partial_y_train = y_train[10000:]

## 8. 训练模型

history = model.fit(partial_x_train,
partial_y_train,
epochs=20,
batch_size=512,
validation_data=(x_val, y_val))

## 9. 绘制训练损失和验证损失

import matplotlib.pyplot as plt

history_dict = history.history
loss_values = history_dict['loss']
val_loss_values = history_dict['val_loss']

epochs = range(1, len(loss_values) + 1)

plt.plot(epochs, loss_values, 'bo', label='Training loss')#‘bo’表示蓝色圆点
plt.plot(epochs, val_loss_values, 'b', label='Validation loss')#‘b’表示蓝色实线
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

#训练损失值越来越低，而验证集先下降后上升，说明模型开始过拟合，而我们要选择拐点，此处拐点在4附近，所以通过验证集超参数迭代次数为4

history_dict.keys()

## 10. 绘制训练精度和验证精度

import matplotlib.pyplot as plt

plt.clf()
acc = history_dict["accuracy"]
val_acc = history_dict['val_accuracy']
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()
plt.show()

## 11. 从头开始重新训练一个模型

#紧接上面代码段，此处通过验证集发现迭代次数为4更合理，然后将验证集重新归入训练集，统一训练训练集，得到最终的权值，进行测试集测试。

model = models.Sequential()
model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))
model.add(layers.Dense(16, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy'])
model.fit(x_train, y_train, epochs=4, batch_size=512)
results = model.evaluate(x_test, y_test)

results

model.predict(x_test)

小结：

• 通常需要对原始数据进行大量预处理，以便将其转换为张量输入到神经网络中。单词序列可以编码为二进制向量，但也有其他编码方式。

• 带有 relu 激活的 Dense 层堆叠，可以解决很多种问题（包括情感分类），你可能会经常用到这种模型。

• 对于二分类问题（两个输出类别），网络的最后一层应该是只有一个单元并使用 sigmoid激活的 Dense 层，网络输出应该是 0~1 范围内的标量，表示概率值。

• 对于二分类问题的 sigmoid 标量输出，你应该使用 binary_crossentropy 损失函数。

• 无论你的问题是什么，rmsprop 优化器通常都是足够好的选择。这一点你无须担心。

• 随着神经网络在训练数据上的表现越来越好，模型最终会过拟合，并在前所未见的数据上得到越来越差的结果。一定要一直监控模型在训练集之外的数据上的性能。

---

相关链接： 

《Python 深度学习》3.5 新闻分类：多分类问题（代码）

《Python 深度学习》3.6 预测房价：回归问题（代码）