文章目录
前言
本文主要介绍了NLP中的基础任务──文本处理,包含了文本分析流程与分词、停用词与词的标准化、拼写纠错。
一、文本分析流程与分词
1.文本分析流程
就像其他的领域有自己的经典流程一样,一个文本分析的项目也有属于自己的流程。虽然每一个NLP项目有所不同,但至于流程来说没有太多本质的区别。这里会涉及到如分词、停用词过滤、文本向量的转化等步骤。一个典型的文本分析流程如下:
在分词阶段,不同语言的文本是不一样的,比如中文分词就较难,而英文分词较简单;
标准化主要针对英文,因为英文单词有时态等区别,但是多个单词指的都是同一个单词,通过标准化将不同的单词映射到同一个单词;
特征提取就是将文本转换为数值化的形式,常见的文本特征包括tf-idf、词向量、词性、词的长度等;
其中,分词和清洗没有严格的先后顺序,可以进行灵活调整。
2.分词工具的使用
分词是所有工作的第一步ÿ