【深度学习笔记整理-6.1】处理文本数据

一般而言，我们若想处理文本数据，一种是将文本数据转为one-hot向量处理，另一种是转为下标组成的向量然后通过一层词嵌入转为待处理的向量。

keras内置的函数可以快速帮助我们达到目的：

首先我们需要引入Tokenizer

from keras.preprocessing.text import Tokenizer

实例化这个类，初始时我们可以传入参数num_words指定词典最大索引

tokenizer = Tokenizer(num_words=10000)

使用tokenizer对象去对文本数据生成字典

tokenizer.fit_on_texts(samples)

生成字典后，按照之前所说，一种是转化为单词下标组成的向量：

sequences = tokenizer.texts_to_sequences(samples)

另一种是直接转化为one-hot：

one_hot_seq = tokenizer.texts_to_matrix(samples,mode='binary')

其中mode也可以改为其他形式，比如也可以数出出现了多少次。

除此之外，当唯一标记的token过多时，可以使用one-hot散列技巧，这种技巧使用hash函数将每个单词映射到某一值，通常我们将这个值对设定的最大下标值取余即可获得单词的标记值，这样就不用显式的维护一个字典了。当然，这种方法存在散列冲突的可能。

下面，我们可以查看生成的字典

word_index = tokenizer.word_index

由单词下标组成的向量无法直接被神经网络利用，而是需要先经过Embedding层进行词嵌入，此外，由于句子长短不一，想进入Embedding层的向量要确保长度一致，然后才能进行词嵌入。

from keras.preprocessing import sequence

train_data = sequence.pad_sequences(train_data,maxlen=20)

test_data = sequence.pad_sequences(test_data,maxlen=20)

然后我们使用keras中的Embedding层

from keras import layers,models

model = models.Sequencial()

model.add(layers.Embedding(10000,8,input_length=20)) # 10000是最大下标值，8是转成向量的维度，20是每句话的词个数

model.add(layers.Flatten()) # 单个输入摊平为8*20长度的向量

model.add(layers.Dense(1,activation='sigmoid'))

这里的Embedding层相当于做了单个数字和对应8个数字组成向量的映射，所以Embedding层这里需要估计10000*8=80000个权重参数。