tf.keras.preprocessing.text.Tokenizer(）作用和简单使用 Tokenizer

作用：将文本向量化，或将文本转换为序列（即单个字词以及对应下标构成的列表，从1开始）的类。用来对文本进行分词预处理。

示例

import tensorflow as tf
#Tokenizer 的示例
tokenizer = tf.keras.preprocessing.text.Tokenizer(
      filters='')
text = ["昨天 天气 是 多云", "我 今天 做 了 什么 呢"]
tokenizer.fit_on_texts(text)
tensorr = tokenizer.texts_to_sequences(text)
print(tensorr)

输出