普遍适用文本分类基于TF

import tensorflow as tf
from tensorflow import keras
import numpy as np
#输出版本信息
print(tf.__version__)

imdb = keras.datasets.imdb
#该数据集已经进行了预处理，被官网吧。转化为了数字序列
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
#打印第一个data，显示整数序列。
print(train_data[0])

print("Training entries: {}, labels: {}".format(len(train_data), len(train_labels)))

#因为是文本信息，所以影评的长度可能会不同。但是神经网络的输入必须有相同的长度。
print("第0个数据的长度{}，第1个数据的长度{}".format(len(train_data[0]),len(train_data[1])))
#数据长度不同，必须做处理。
#将整数数组进行独热编码将他们转换为01向量，因为这里提取了频率前10000的字词，
#所以需要建立维度为10000的向量。若存在序列[3,5]，这在这个万维向量中，索引为3、5的是1，其余为0
#会占用大量内存
#法2，填充数组，使他们具有相同的长度

# A dictionary mapping words to an integer index
word_index = imdb.get_word_index()

# The first indices are reserved
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2  # unknown
word_index["<UNUSED>"] = 3

reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])

def decode_review(text):
    return ' '.join([reverse_word_index.get(i, '?') for i in text])



#本文使用法2
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
                                                        value=word_index["<PAD>"],
                                                        padding='post',
                                                        maxlen=256)

test_data = keras.preprocessing.sequence.pad_sequences(test_data,
                                                       value=word_index["<PAD>"],
                                                       padding='post',
                                                       maxlen=256)

print("调整后第0个训练数据的长度{}，调整后第1个训练数据的长度{}".format(len(train_data[0]),len(train_data[1])))
print("调整后第0个测试数据的长度{}，调整后第1个测试数据的长度{}".format(len(test_data[0]),len(test_data[1])))

###1.构建模型
# input shape is the vocabulary count used for the movie reviews (10,000 words)
vocab_size = 10000

model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16, activation=tf.nn.relu))
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))
#model.summary()

##2.编译模型
##warning####：官方文档中运行存在问题。应该为tf.train.AdamOptimizer() => tf.optimizers.Adam()
model.compile(optimizer=tf.optimizers.Adam(),
              loss='binary_crossentropy',
              metrics=['accuracy'])
##3.创建验证集且训练模型
x_val = train_data[:10000]
partial_x_train = train_data[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=40,
                    batch_size=512,
                    validation_data=(x_val, y_val),
                    verbose=1)

##4.评估模型
results = model.evaluate(test_data, test_labels)

print(results)