深度学习之文本处理
1.文本向量化将文本分割为单词,每个单词转换为一个向量将文本分割为字符,每个字符转换为一个向量提取单词或字符的n-gram2.单词和字符的one-hot编码单词级one-hot字符级one-hotimport numpy as npsamples = ['This is a dog','The is a cat']all_token_index = {} #构建一个字典来存储数据中的所有标记的索引for sample in samples: fo
原创
2020-12-13 14:09:45 ·
756 阅读 ·
0 评论