数据分析学习总结笔记01：情感分析

1. 情感分析概述

1.1 什么是情感分析

情感分析主要基于文本数据，是自然语言处理（NPL）的主要内容。情感分析：又称意见挖掘、倾向性分析等。简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。互联网（如微博、论坛、知乎、豆瓣等）上产生了大量的用户参与的、对于诸如人物、事件、产品等有价值的评论信息。这些评论信息表达了人们的各种情感色彩和情感倾向性,如喜、怒、哀、乐和批评、赞扬等。基于此,潜在的用户就可以通过浏览这些主观色彩的评论来了解大众舆论对于某一事件或产品的看法。

1.2 情感分析的范畴

情感分析可以用于不同级别的范围：

• 文本级别：通过完整文档或段落来获取情绪；
• 句子级别：获得单句的情绪。
• 子句级别：获得句子中，子句表达的情感。

1.3 细粒度情感分析

有时您可能想，更加准确地了解意见的极性水平，因此你可以考虑，以下类别而不仅仅是谈论积极，中立或消极的意见¹：

• 非常积极
• 积极
• 中性
• 消极
• 非常消极

这通常被称为细粒度情感分析。 例如，这可以在评论中映射到5星评级，例如：“非常正=5星” 和 “非常负= 1星”。此外，还有7级粒度等，可根据实际需要进行处理。

一些系统还通过识别积极或消极情感是否与特定感觉相关联，来提供不同的极性风格，例如愤怒，悲伤或忧虑（即负面情绪）或快乐，爱情或热情（即积极情绪）。

1.4 情感分析的实际应用

随着近年来深度学习的发展，且文本数据的可获取性不断提升，情感分析在自然语言处理研究领域中日渐举足轻重，慢慢从理论研究领域拓展到实践应用中。目前主要用于预测电影票房、股票趋势、舆情分析、改进服务及产品、及了解用户的体验等。如下表所示²：

应用场景	描述
商品评论分析	可以了解用户对商品的满意度，进而制定好的营销策略
大众舆论导向分析	政府部门可以了解公民对热门事件的情感倾向，掌握大众舆论导向，从而更及时有效的进行舆情监控，同时也能为制定相关政策提供支持。
影评分析	了解用户对节目的喜怒哀乐，进而制定好的剧情和上线时间
人物情绪分析	通过对一个人发布的内容，了解他的情绪变化，哪种情绪多，哪种情绪少，进而可以分析出他的性格，除此之外，还能了解他在遇到什么事情时情绪会发生波动等。
产品比较分析	比如针对各种汽车品牌的评论进行分析比较，可以帮助商家了解这些产品在用户心中的差异，也可以帮助用户选择好的汽车产品。
事件预测分析	通过用户对这一事件的评论，可以预测相关信息，比如:电影票房，奥斯卡得奖者等等。

情感分析在学术中最典型的一个研究就是，通过分析推特的用户情绪以预测股票市场行情。 知网上有许多相关的文献，感兴趣的同学可以查阅。

2. 情感分析方法

2.1 情感分析基本步骤

情感分析的流程包括文本预处理、特征标注与选择、训练模型、调整模型。
现有的文本情感分析的途径大致可以集合成四类：关键词识别、词汇关联、统计方法和概念级技术。

• 关键词识别：利用文本中出现的清楚定义的影响词（affect words），例如“开心”、“难过”、“伤心”、“害怕”、“无聊”等等，来影响分类。
• 词汇关联：除了侦查影响词以外，还附于词汇一个和某项情绪的“关联”值。
• 统计方法：通过调控机器学习中的元素，比如潜在语意分析（latent semantic analysis），SVM（support vector machines），词袋（bag of words），等等。（参见Peter T