Keras 文本预处理 (Tokenizer的使用)
注: 部分内容参照keras中文文档Tokenizer文本标记实用类。该类允许使用两种方法向量化一个文本语料库: 将每个文本转化为一个整数序列(每个整数都是词典中标记的索引); 或者将其转化为一个向量,其中每个标记的系数可以是二进制值、词频、TF-IDF权重等。keras.preprocessing.text.Tokenizer(num_words=None, filters='!"#$%&()*+,-./:;<=
原创
2020-08-02 17:48:18 ·
4222 阅读 ·
0 评论