hadoop微博网络舆情分析系统的设计与实现

 
 伴随着国内网民活跃程度的逐渐提高，网络舆论也就随之产生了，进而以强大的舆论负担来获取人们的重视，这是为了更好的解决存在的问题。但是，网络舆论是人们表达自身意见的重要武器，在互联网背景十分复杂的如今，难以识别网络舆情的真假与否，其所产生的影响有着一定的广泛性，这就使对其的监管活动更加困难。
并且随着互联网的快速普及，微博已经成为网络舆情发生、发展与演化的重要传播平台。所以，在社交网络高速发展的今天，做好相关网络舆情发展趋势的分析非常重要。网络舆情分析，一方面可以全面地、系统地反映部分网民的观点与想法，体现社会舆论导向，有助于决策者快速识别突发事件，并对突发事件做出相应的处理与应对准备;另一方面，当出现与社会主义价值观不相符的舆论风向时，可以做出“微调”，使社会稳定更加团结。
2．课题的基本内容    

由于社交网络平台信息传播速度非常快，因此产生热点舆论话题的几率就很高，人为的观察、设置需要分析的舆论话题工作量太大且容易出现纰漏，因此需要让舆情分析系统自主探寻当前社交平台上出现的热点舆论话题。
网络舆情分析平台是针对在一定的社会空间内，围绕中介性社会事件的发生、发展和变化，民众对社会管理者产生和持有的社会政治态度于网络上表达出来意愿集合而进行的计算机分析的系统统称。通过这个系统,能够让我们有效的对网络舆情进行预警和应对。这个系统的产生在一定程度上解决了一些网络舆情带来的负面影响。
本系统是一套面向微博平台的网络舆情分析系统，使用mysql数据库，通过分布式网络爬虫收集用户在微博上产生的舆论数据，采用了TF-IDF算法、基于情感词典的情感分析方法等文本分析方法对用户发布的舆论文本进行关键词抽取、观点挖掘、情感倾向分析、文本聚类。并在此基础上实现了文本预处理、用户观点挖掘、文本情感分析、微博热点话题发现等功能。

3．课题的重点、难点及创新点

 重点：
1.快速准确地从目标软件上获取评论数据
2.准确地过滤掉没有实际意义的评论，比如“哦、啊、了”等语气词还有一些频率过高或过低的词
3.把过滤后的评论全部存入数据库中，进行分析。
 难点：
1.如何准确地将无用评论过滤掉。
2.正确分析出社会舆论导向。
创新点：
能够快速为相关用户快速发现话题,锁定目标,进行舆情分析。

4．论文提纲
绪论
1 .研究背景                              6.系统测试    
2 .研究目的                                6.1系统功能测试
3 .研究内容                                6.2系统性能测试
1. 相关技术介绍                           7.总结
1.1 Python语言                           参考文献
1.2 网络爬虫程序                          致谢
1.3 TF-IDF算法
1.4基于情感词典的情感分析方法
1.5文本预处理
2. 开发环境
2. 1 开发工具
2. 2 开发技术
3. 数据库
3.1 MySQL数据库设计
4. 分析模块设计
5. 系统实现