Python深度学习读书笔记（六）（使用预训练的词嵌入优化IMDB评论分类）

第六章，深度学习用于文本和序列

 

深度学习不会接收原始文本作为输入，只能处理数值张量，文本向量化是指将文本转换为数值张量的过程。（文本可分割为标记：单词，字符，n-gram，分解为标记的过程叫做分词，然后将其转换为张量）

one-hot将每个单词与一个唯一的整数索引相关联，将整数索引i转换为长度为N的二进制向量。One-hot编码是标记转化为向量最基本最常用的方法，得到的是二进制的，稀疏的维度很高的向量。

 

词向量（词嵌入）：是从数据中学习到的，得到低维的浮点型向量。

学习方式一：在完成主任务的同时学习词嵌入，对随机的词向量进行学习。

学习方式二：预训练词嵌入，计算好词嵌入加载到模型上。

利用Embedding层学习词嵌入：对每个新的任务都学习一个新的嵌入空间，利用Embedding层学习一个层的权重，将Embedding层理解为一个字典，将帧数索引映射为密集向量。Embedding层是一个二维整数张量（samples，sequence_length）,返回形状为（samples,sequence_length,embedding_dimensionality）的三维浮点数张量。

       使用预训练的词嵌入：原理同图像分类中使用的预训练的卷积神经网络一样，这种词嵌入利用词频统计计算得出。

 

处理IMDB数据的原始文本
import os
imdb_dir='D:\\jupyter_code\\GloVe\\aclImdb'
train_dir=os.path.join(imdb_dir,'train')

labels=[]
texts=[]

for label_type in ['neg','pos']:
    dir_name=os.path.join(train_dir,label_type)
    for fname in os.listdir(dir_name):
        if fname[-4:]=='.txt':
            f=open(os.path.join(dir_name,fname),encoding='UTF-8')
            texts.append(f.read())
            f.close()
            if label_type=='neg':
                labels.append(0)
            else:
                labels.append(1)
                
#对imdb原始数据的文本进行分词
from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
import numpy as np
#在100个单词后截断评论
maxlen=100
#200个样本上训练
training_samples=200
#在10000个样本上验证
validation_samples=10000
#只考虑前10000个最常见的单词
max_words=10000

tokenizer=Tokenizer(num_words=max_words)
#根据文本列表更新词汇表
tokenizer.fit_on_texts(texts)
sequences=tokenizer.texts_to_sequences(texts)

word_index=tokenizer.word_index
print('Found %s unique tokens.'%len(word_index))

data=pad_sequences(sequences,maxlen=maxlen)

labels=np.asarray(labels)
print(data.shape)
print(labels.shape)

#打乱数据在划分数据
indices=np.arange(data.shape[0])
np.random.shuffle(indices)
data=data[indices]
labels=labels[indices]

x_train=data[:training_samples]
y_train=labels[:training_samples]
x_val=data[training_samples:training_samples+validation_samples]
y_val=labels[training_samples:training_samples+validation_samples]

#解析GloVe嵌入文件
glove_dir='D:\\jupyter_code\\GloVe\\glove.6B'

embeddings_index={}
f=open(os.path.join(glove_dir,'glove.6B.100d.txt'),encoding='UTF-8')
for line in f:
    values=line.split()
    word=values[0]
    coefs=np.asarray(values[1:],dtype='float32')
    embeddings_index[word]=coefs
f.close()

print('Found %s word vectors'%len(embeddings_index))

#准备GloVe词嵌入词库
embedding_dim=100
embedding_matrix=np.zeros((max_words,embedding_dim))
for word, i in word_index.items():
    if i<max_words:
        embedding_vector=embeddings_index.get(word)
        if embedding_vector is not None:
            embedding_matrix[i]=embedding_vector

#定义模型
from keras.models import Sequential
from keras.layers import Embedding,Flatten,Dense

model=Sequential()
model.add(Embedding(max_words,embedding_dim,input_length=maxlen))
model.add(Flatten())
model.add(Dense(32,activation='relu'))
model.add(Dense(1,activation='sigmoid'))
model.summary()

#预训练的词嵌入加载到Embedding层，冻结Embedding
model.layers[0].set_weights([embedding_matrix])
model.layers[0].trainable=False


#模型训练与评估
model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['acc'])
history=model.fit(x_train,y_train,epochs=10,batch_size=32,validation_data=(x_val,y_val))
model.save_weights('pre_trained_glove_model.h5')

#在不使用预训练词嵌入的情况下，训练相同的模型
from keras.models import Sequential
from keras.layers import Embedding,Flatten,Dense

model=Sequential()
model.add(Embedding(max_words,embedding_dim,input_length=maxlen))
model.add(Flatten())
model.add(Dense(32,activation='relu'))
model.add(Dense(1,activation='sigmoid'))
model.summary()

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['acc'])
history=model.fit(x_train,y_train,epochs=10,batch_size=32,validation_data=(x_val,y_val))

#对测试集数据进行分词
test_dir=os.path.join(imdb_dir,'test')
labels=[]
texts=[]

for label_type in ['neg','pos']:
    dir_name=os.path.join(test_dir,label_type)
    for fname in sorted(os.listdir(dir_name)):
        if fname[-4:]=='.txt':
            f=open(os.path.join(dir_name,fname),encoding='UTF-8')
            texts.append(f.read())
            f.close()
            if label_type=='neg':
                labels.append(0)
            else:
                labels.append(1)

sequences=tokenizer.texts_to_sequences(texts)
x_test=pad_sequences(sequences,maxlen=maxlen)
y_test=np.asarray(labels)

model.load_weights('pre_trained_glove_model.h5')
model.evaluate(x_test,y_test)