NLP文本预处理过程

NLP文本预处理过程

第一步：加载数据

读取文本内容和标签

第二步：分词和去除停用词

1、读取停用词和停用符号表，放入空列表中。
2、对文本内容进行分词。
3、分词后的文本内容是否含有停用词表和停用符号，没有即存入列表中。
此时数据为二维列表
[[‘写’, ‘在’, ‘年末’, ‘冬初’, ‘孩子’, ‘流感’, ‘第五天’, ‘我们’, ‘仍然’, ‘没有’, ‘忘记’, ‘热情’, ‘拥抱’],
[‘开年’, ‘大’, ‘模型’, ‘累到’, ‘以为’, ‘自己’, ‘发烧’, ‘了’, ‘腰疼’, ‘膝盖’, ‘疼’, ‘腿疼’],
[],
[],
…
[] ]

第三步：训练词向量

1、使用word2vec（BERT）训练词向量
2、创建词典。输入的是训练的词向量和预处理的文本内容。输出的是（词：索引+1），（词：词向量），（二维列表：每句话中每个词对应的索引[[96,85,46,54,68],[64,2,56,64,52],…[]]）

第四步：获得词向量

获得每句话中每个词对应的词向量，二维列表