python新闻分类_Python深度学习 3.5 新闻分类：多分类问题

本节会构建一个网络，将路透社新闻划分为 46 个互斥的主题。因为有多个类别，所以这是多分类（multiclass classification）问题的一个例子。

因为每个数据点只能划分到一个类别， 所以更具体地说，这是单标签、多分类问题的一个例 子。

如果每个数据点可以划分到多个类别（主题），那它就是一个多标签、多分类问题。

这个问题中作者按如下步骤进行单标签多分类：（和二分类步骤相同）原始数据集的访问与处理（分配训练预测集、数据向量化、标签向量化……）

搭建网络

编译模型：优化器、损失函数、关注指标

模型训练与验证（并非一股脑把全部训练集丢进去！）

效果评估（绘制训练损失、验证损失、训练精度、验证精度、测试集评估）、预测

第一步：

from keras.datasets import reuters​

(train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)

>>len(train_data)

8982

>>len(test_data)

2246

>>> train_data[10]

[1, 245, 273, 207, 156, 53, 74, 160, 26, 14, 46, 296, 26, 39, 74, 2979, 3554, 14, 46, 4689, 4329, 86, 61, 3499, 4795, 14, 61, 451, 4329, 17, 12]

>>train_labels[10]

3

然后是处理

数据向量化

import numpy as np

​

def vectorize_sequences(sequences, dimension=10000):

results = np.zeros((len(sequences), dimension))

for i, sequence in enumerate(sequences):

results[i, sequence] = 1.

return results

​

# Our vectorized training data（将训练数据向量化）

x_train = vectorize_sequences(train_data)

# Our vectorized test data（将测试数据向量化）

x_test = vectorize_sequences(test_data)

标签向量化

from keras.utils.np_utils import to_categorical

​

one_hot_train_labels = to_categorical(train_labels)

one_hot_test_labels = to_categorical(test_labels)

第二步：

from keras import models

from keras import layers

​

model = models.Sequential()

model.add(layers.Dense(64, activation='relu', input_shape=(10000,)))

model.add(layers.Dense(64, activation='relu'))

model.add(layers.Dense(46, activation='softmax'))

上一个例子使用了 16 维的中间层，但对这个例子来说 16 维空间可能太小了，无法学会区分 46 个不同的类别。这种维度较小的层可能成为信息瓶颈，永久地丢失相关信息。

第三步：

model.compile(optimizer='rmsprop',

loss='categorical_crossentropy',

metrics=['accuracy'])

对于这个例子，最好的损失函数是categorical_crossentropy（分类交叉熵）。

第四步：

在训练数据中留出 1000 个样本作为验证集

x_val = x_train[:1000]

partial_x_train = x_train[1000:]

​

y_val = one_hot_train_labels[:1000]

partial_y_train = one_hot_train_labels[1000:]

开始训练

history = model.fit(partial_x_train,

partial_y_train,

epochs=20,

batch_size=512,

validation_data=(x_val, y_val))

第五步：

绘制损失曲线和精度曲线：

import matplotlib.pyplot as plt

​

loss = history.history['loss']

val_loss = history.history['val_loss']

​

epochs = range(1, len(loss) + 1)

​

plt.plot(epochs, loss, 'bo', label='Training loss')

plt.plot(epochs, val_loss, 'b', label='Validation loss')

plt.title('Training and validation loss')

plt.xlabel('Epochs')

plt.ylabel('Loss')

plt.legend()

​

plt.show()

plt.clf() # clear figure(清空图像)

​

acc = history.history['acc']

val_acc = history.history['val_acc']

​

plt.plot(epochs, acc, 'bo', label='Training acc')

plt.plot(epochs, val_acc, 'b', label='Validation acc')

plt.title('Training and validation accuracy')

plt.xlabel('Epochs')

plt.ylabel('Loss')

plt.legend()

​

plt.show()

观察到网络在训练8 轮后开始过拟合。我们从头开始训练一个新网络，共8个轮次，然后在测试集上评估模型。

model = models.Sequential()

model.add(layers.Dense(64, activation='relu', input_shape=(10000,)))

model.add(layers.Dense(64, activation='relu'))

model.add(layers.Dense(46, activation='softmax'))

​

model.compile(optimizer='rmsprop',

loss='categorical_crossentropy',

metrics=['accuracy'])

model.fit(partial_x_train,

partial_y_train,

epochs=8,

batch_size=512,

validation_data=(x_val, y_val))

results = model.evaluate(x_test, one_hot_test_labels)

最终结果如下。

>>> results

[0.9565213431445807, 0.79697239536954589]

预测

predictions = model.predict(x_test)

predictions 中的每个元素都是长度为 46 的向量。

>>predictions[0].shape

(46,)

最大的元素就是预测类别，即概率最大的类别。

>>np.argmax(predictions[0])

3

注：

作者给出了另一种多分类标签处理方法，不进行独热编码，直接转化为整数张量。

y_train = np.array(train_labels)

y_test = np.array(test_labels)

参数选择中损失函数需要改变

model.compile(optimizer='rmsprop',

loss='sparse_categorical_crossentropy',

metrics=['acc'])