tensorflow(二)文本分类

文本分类是自然语言处理中的一个重要领域。在神经网络未兴起之前，svm在分类方面独领风骚。j即使在现在，svm在很多场景下也很有用。但是神经网络提高了准确率，使其迅速火了起来。下面是tensorflow官网给出的例子（https://tensorflow.google.cn/tutorials/keras/basic_text_classification）

import tensorflow as tf
from tensorflow import keras
import numpy as np

#1.下载数据
imdb=keras.datasets.imdb
#num_words=10000表示保留前10000个出现频率最高的词,频率在此之后的可能被丢弃
(train_data,train_labels),(test_data,test_labels)=imdb.load_data(num_words=10000)
print("Training entries:{},labels:{}".format(len(train_data),len(train_labels)))\
#每行是一个数字数组，类似于1, 14, 22, 16, 43, 530, 973]其中每个数字代表唯一的一个词
print(train_data[0])
#由于每个评论的长度长短都不一样，所以数组的长度也不一样
print(str(len(train_data[0]))+"/"+str(len(train_data[1])))
#2.转换数据
#由于网络的输入的维数是固定的，因此需要将数组转化为统一的长度
word_index=imdb.get_word_index()

# The first indices are reserved
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2  # unknown
word_index["<UNUSED>"] = 3

#train_data代表要处理的数据,value代表要用什么数据填充，这里是０,padding代表在前还是在后填充,pre代表前,post代表后.
# maxlen代表最大长度，超过该长度将会被截断
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
                                                        value=word_index["<PAD>"],
                                                        padding='post',
                                                        maxlen=256)

test_data = keras.preprocessing.sequence.pad_sequences(test_data,
                                                       value=word_index["<PAD>"],
                                                       padding='post',
                                                       maxlen=256)
#3.build model

vocab_size=10000
model=keras.Sequential()
model.add(keras.layers.Embedding(vocab_size,16))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16,activation=tf.nn.relu))
model.add(keras.layers.Dense(1,activation=tf.nn.sigmoid))
model.summary()

model.compile(optimizer=tf.train.AdamOptimizer(),
              loss="binary_crossentropy")

#4.创建校验集
x_val=train_data[:10000]
partial_x_train=train_data[10000:]

y_val=train_labels[:10000]
partial_y_train=train_labels[10000:]

model.fit(
    partial_x_train,
    partial_y_train,
    epochs=40,
    batch_size=512,
    validation_data=(x_val,y_val),
    verbose=1
 )

results=model.evaluate(test_data,test_labels)


print(results)