Keras 文本预处理

句子分割 text_to_word_sequence

• keras.preprocessing.text.text_to_word_sequence(text,
  filters=base_filter(), lower=True, split=” “)
  本函数将一个句子拆分成单词构成的列表
  text：字符串，待处理的文本
  filters：需要滤除的字符的列表或连接形成的字符串，例如标点符号。默认值为base_filter()，包含标点符号，制表符和换行符等
  lower：布尔值，是否将序列设为小写形式
  split：字符串，单词的分隔符，如空格

Ont-hot编码

keras.preprocessing.text.one_hot(text, n,
filters=base_filter(), lower=True, split=” “)
本函数将一段文本编码为one-hot形式的码，即仅记录词在词典中的下标。
【Tips】 从定义上，当字典长为n时，每个单词应形成一个长为n的向量，其中仅有单词本身在字典中下标的位置为1，其余均为0，这称为one-hot。为了方便起见，函数在这里仅把“1”的位置，即字典中词的下标记录下来。

分词器Tokenizer

keras.preprocessing.text.Tokenizer(num_words=None, filters=base_filter(),lower=True, split=” “)
Tokenizer是一个用于向量化文本，或将文本转换为序列（即单词在字典中的下标构成的列表，从1算起）的类。
与text_to_word_sequence同名参数含义相同
nb_words：None或整数，处理的最大单词数量。若被设置为整数，则分词器将被限制为处理数据集中最常见的nb_words个单词