Tokenizer 的用法

1.什么是Tokenizer
  使用文本的第一步就是将其拆分为单词。单词称为标记（token），将文本拆分为标记的过程称为标记化(tokenization)，而标记化用到的模型或工具称为tokenizer。Keras提供了Tokenizer类，用于为深度学习文本文档的预处理。

2.创建Tokenizer实例
from keras.preprocessing.text import Tokenizer

# 实例化一个 Tokenizer 
tok = Tokenizer()
3.学习文本字典
##假设文本数据为：
docs = ['good job!',
        'hello world',
        'great china']
tok.fit_on_texts(docs）# 作用是把文本数据 变换成 计算机能统计的文本数据
# 通常在tokenizer 中，使用的4个内容：
1）word_counts：每个词在所有文档中出现的次数
2）word_docs：每个词出现的文档数量
3）word_index：所有word对应的ID编号，从1开始
4）document_count：处理的文档数

上述数据中：

tok.word_counts
OrderedDict([('good', 1),
             ('job', 1),
             ('hello', 1),