【NLP1-文本预处理】

文本预处理

1、文本预处理及其作用

文本语料在输送给模型之前一般需要一系列的预处理工作，才能符合模型输入的要求。如：将文本转化成模型需要的张量，规范张量的尺寸等。而且科学的文本预处理环节还将有效知道模型超参数的选择，提升模型的评估指标

2、文本预处理中包含的主要环节

1 文本处理的基本方法

2 文本张量的表示方法

3 文本语料的数据分析

4 文本特征处理

5 数据增强方法

3、文本处理的基本方法

分词 词性标注 命名实体识别

4、文本张量表示方法

one-hot编码 word2vec word embedding

5、文本语料的数据分析

标签数量的分布 句子长度分布 词频统计与关键词词云

6、文本特征处理

添加n-gram特征 文本长度规范

7、数据增强方法

回译数据增强法