计算机毕业设计之基于hadoop的网络舆情情感分析的设计与实现

本论文旨在设计与实现一个基于Hadoop的网络舆情情感分析系统。随着互联网的普及和社交媒体的兴起，网络舆情情感分析成为了企业和政府部门关注的热点。为了有效地分析和理解大规模网络数据中的情感倾向，采用了Hadoop这一分布式计算框架来处理和分析海量网络数据。

首先，收集了大量的网络数据，包括微博、论坛、新闻评论等，利用Hadoop的分布式计算能力，对数据进行预处理，包括数据清洗、分词、去除停用词等，使用情感分析算法对处理后的数据进行情感分类，将数据分为正面、负面和客观三类。在情感分析过程中采用了机器学习算法并使用了情感词典和情感词汇的特征来提高情感分类的准确性。该系统还可以为市场研究、品牌管理、舆情监测等领域提供有价值的数据支持和分析结果。

数据展示功能

本项目所设计的基于Spark ML的文本数据分析与实现系统用户为负责微博平台产品经理等制定文本数据分析人员，传统的数据分析处理后的数据会产生一些比较复杂且难以理解的数据。所以需要将分析好的数据以可视化界面的方式去展示给文本数据分析人员。在基于Spark ML的文本数据分析与实现系统的可视化展示功能中主要分为六个模块，分别是文本数据分析与预测、用户管理和数据、热门新闻出处比例、新闻相关评论、新闻热门变化趋势，如图3-2所示。

图3-2 系统功能模块图
 

系统可视化

管理员在数据大屏模块可以查看到所有数据的详细信息分析，主要包括新闻热度统计、新闻分析变化趋势、热门新闻出处比例、新闻相关评论、新闻展示等模块。

图5-1    数据大屏显示