【nlp】1文本预处理总括目录（附各章节链接）

1. 文本预处理机器作用

文本语料在输送给模型前一般需要一系列的预处理工作，才能符合模型输入的要求，如：将文不转化成模型需要的张量，规范张量的尺寸等，而且科学的文本预处理环节还将有效指导模型超参数的选择，提升模型的评估指标。

定义：文本送给模型之前，提前要做的工作指导
作用：模型超参数的选择、提升模型的评估指标
举例子：

* 思路常识：打造模型中的X，Y
* 关于Y：10分类标签是够均匀
* 关于X：数据有没有脏数据、数据长度、样本不够
* 预处理工作结束的标志：准备X和Y能送给模型

2. 文本预处理包含的主要环节

2.1 文本处理的基本方法

对应章节链接：https://blog.csdn.net/lys_828/article/details/134339086

2.1.1 分词

把词重新组合后再分开

2.1.2 词性标注

把一句话的动词、名词、形容词…等给标注出来

2.2.3 命名实体标注

命名实体：通用实体（人名、地名、机构名等）、专业领域实体（与领域相关）

2.2 文本张量表示方法

对应章节链接：