自然语言处理在文本情感分析领域应用综述

论文地址：全文阅读--XML全文阅读--中国知网 (cnki.net)

0 引言

nlp是一门研究如何让计算机听懂人类语言的学科，各平台用户的言论对商家而言，对用户本身来说提供情绪宣泄。

1 NLP文本预处理

1.1分词，停用词，词典

分词

来源：自然语言处理（1）：分词_自然语言处理 分词-CSDN博客

分词是自然语言处理的基础，分词准确度直接决定了后面的词性标注、句法分析、词向量以及文本分析的质量。英文语句使用空格将单词进行分隔，除了某些特定词，如how many，New York等外，大部分情况下不需要考虑分词问题。但中文不同，天然缺少分隔符，需要读者自行分词和断句。故在做中文自然语言处理时，我们需要先进行分词。

比如人名，有的算法认为姓和名应该分开，有的认为不应该分开。这需要制定一个相对统一的标准。又例如“花草”，有的人认为是一个词，有的人认为应该划分开为两个词“花/草”。某种意义上，中文分词可以说是一个没有明确定义的问题。

切分歧义

不同的切分结果会有不同的含义，这又包含如下几种情况

1. 组合型歧义：分词粒度不同导致的不同切分结果。比如“中华人民共和国”，粗粒度的分词结果为“中华人民共和国”，细粒度的分词结果为“中华/人民/共和国”。这种问题需要根据使用场景来选择。在文本分类，情感分析等文本分析场景下，粗粒度划分较好。而在搜索引擎场景下，为了保证recall，细粒度的划分则较好。jieba分词可以根据用户选择的模式，输出粗粒度或者细粒度的分词结