文本数据序列化

结巴文本分词--文本序列化处理

import jieba
from sklearn.model_selection import train_test_split
from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
首先对语句进行分析: x_text =  [' '.join(jieba.cut(x)) for x in data]
x_text = [
'整个 感觉 除了 送货 师傅 新手 来晚 了 外 ， 其他 都 很 好'
, '京东 自营 很 不错 ，'
, '外观 手感 使用 都 不错 ， 好 ！'
]
tokenizer = Tokenizer(filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n',lower=True,split=" ")
tokenizer.fit_on_texts(x_text)
vocab = tokenizer.word_index

x_train, x_test, y_train, y_test = train_test_split(x_text, y, test_size=0.2, random_state=2017)

x_train_word_ids = tokenizer.texts_to_sequences(x_train)
x_test_word_ids = tokenizer.texts_to_sequences(x_test)
x_train_padded_seqs = pad_sequences(x_train_word_ids, maxlen=64)
x_test_padded_seqs = pad_sequences(x_test_word_ids, maxlen=64)

# MLP-onehot  
x_train_matrix = tokenizer.sequences_to_matrix(x_train_word_ids, mode='binary')
x_test_matrix  = tokenizer.sequences_to_matrix(x_test_word_ids, mode='binary')

句子分割 text_to_word_sequence
keras.preprocessing.text.text_to_word_sequence(text, filters=base_filter(), lower=True, split=” “) 
本函数将一个句子拆分成单词构成的列表 
text：字符串，待处理的文本 
filters：需要滤除的字符的列表或连接形成的字符串，例如标点符号。默认值为base_filter()，包含标点符号，制表符和换行符等 
lower：布尔值，是否将序列设为小写形式 
split：字符串，单词的分隔符，如空格
Ont-hot编码
keras.preprocessing.text.one_hot(text, n, filters=base_filter(), lower=True, split=” “) 
本函数将一段文本编码为one-hot形式的码，即仅记录词在词典中的下标。 
【Tips】 从定义上，当字典长为n时，每个单词应形成一个长为n的向量，其中仅有单词本身在字典中下标的位置为1，其余均为0，这称为one-hot。为了方便起见，函数在这里仅把“1”的位置，即字典中词的下标记录下来。

分词器Tokenizer
keras.preprocessing.text.Tokenizer(num_words=None, filters=base_filter(),lower=True, split=” “) 
Tokenizer是一个用于向量化文本，或将文本转换为序列（即单词在字典中的下标构成的列表，从1算起）的类。 
与text_to_word_sequence同名参数含义相同 
nb_words：None或整数，处理的最大单词数量。若被设置为整数，则分词器将被限制为处理数据集中最常见的nb_words个单词