毕业设计spark++hive知识图谱微博舆情预测

1、开发环境以及工具介绍
开发环境使用Win10操作系统，开发工具使用IDEA，Navicat，PyCharm等，数据爬取利用python的Requests框架进行，情感分析使用LSTM算法，数据库服务器使用MySql，数据处理技术使用Spark和Flink，Web端架构使用Springboot和vue等技术，可视化展示使用Echarts技术。

舆情预警系统是对新浪微博的近期热点相关的评论数据进行爬取，利用Requests框架获得海量数据。再对获取的数据进行数据预处理后导入到MySQL数据库，基于数据集利用LSTM(Long Short Term Memory)技术训练神经网络模型，对句子进行情绪上的分类和识别，对负面情绪消极数据和正面积极数据进一步分析，得到具体比值，当某种情绪到达阈值时进行预警，做到数字化的情感反馈。使用Spark和Flink等技术对相关数据进行数据实时处理，Web端框架使用Springboot和Vue等技术完成，大屏可视化展示用Echarts实现可视化。

2、算法及解决方案
1、数据爬取模块理论依据

使用urllib获取微博的cookie伪装成人类访问，从而点击微博新闻首页，根据爬取的热搜词条，抓取热搜词条对应的新闻数据，使用requests框架获取数据，当抓取到html以后，用BeautifulSoup进行解析，抓取到需要的数据如：用户名、微博名称、点赞量、转发量、发布时间、地区等关键信息，存储到mysql数据库作为数据集使用；

2、微博情感分析模块理论依据

抓取大概十多万微博数据，分析的数据较大，需要使用lstm批量情感分析，可以利用Java的多线程技术以及Python的lstm情感分析算法的技术优势，将Python编写好的分析算法代码集成到Java中，使用IDEA的Python插件进行调用，这样多线程处理情感分析速度快。对于分析后的数据使用Flink实时计算框架导入实时分析结果表，提供给前端调用。

3、数据可视化模块理论依据

数据统计分实时统计和静态统计，热词使用websocket技术与SpringBoot后台实时通信获取热词动态显示，静态数据通过vue发送http请求与后端SpringBoot交互获取json数据。所有分析的数据使用echarts进行大屏显示。实时计算的时候使用Spark大数据框架的SparkSQL模块进行数据分析。

3、实施方案
舆情预警的分析需要海量的数据采集，并需要保证数据的精准度，而新浪微博平台的反爬机制具有一定的难，因此在数据挖掘时会影响爬取进度，虽说微博对爬取的频率做了限制，不过站在微博官方的角度同时想让搜索引擎爬取数据，又要防止其他爬虫对服务器带来的压力。

舆情预警系统的重点时舆情的分析，其中要涉及到的技术有文本分类，聚类，倾向性识别，主题检测和追踪，自动摘要等计算机文本信息内容识别技术。其中基于关键词统计分析方法的技术相对比较成熟，但在关键词的有效性有很大的提升。
（3）面对网站的反爬机制从三个方面着手，第一是对用户请求的Headers反爬虫，这是较为常见的反爬机制，我们需要伪装Header，直接在爬虫中添加Headers即可（其中Headers是一个字典，通过这种可以将爬虫模拟成浏览器对网站访问）。第二种是基于用户行为的反爬虫，有一部分网站是通过检测用户行为，列如同一个IP短时间多次访问同一个页面，或者同一个账户短时间内进行多次相同操作，面对这种防爬则需要有足够多的IP来应对也可以在每次访问后间隔一定的时间再进行下一次请求。最后一种则是动态页面的反爬虫一些应用ajax的网站会采用，这样增大了爬取的难度（防止静态爬虫使用ajax技术动态加载页面），我们需要爬取的数据是通过ajax请求得到，或者通过Java生成的，解决方案是使用Selenium（自动化Web测试解决方案，模拟用户操作）和PhantomJS（一个没有图形界面的浏览器）来实现对微博网站的爬取。

（4）文本情感分析（Sentiment Analysis）是自然语言处理（NLP）方法中常见的应用，尤其是以提炼文本情绪内容为目的的分类。它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。情感分析中的情感极性（倾向）分析。所谓情感极性分析，指的是对文本进行褒义、贬义、中性的判断。在大多应用场景下，只分为两类。例如对于“喜爱”和“厌恶”这两个词，就属于不同的情感倾向，本项目将使用深度学习模型中的LSTM（Long-Short Term Memory，长短期记忆人工神经网络）模型来实现文本的情感分析。LSTM能够很好的表达出句子中词的关系，能将句子当做一个整体来看待，而不是一个个单独的词，由此不难看出再情感分析上面LSTM对于其他算法具有一定的优势。

（5）舆情情感分析预警系统不同于传统的舆情分析系统，舆情分析预警系统使我们能够实时地检测网民对时事热点的不同看法，面对海量地数据无法做到人工的方式对互联网舆情进行全面监控的难度。因此结合网络评论采集和文本信息自动化处理等技术研发一个热点舆情的情感分析趋势，因而可以对早发现的热点舆情及时进行干预，引导疏通网民的情绪和心理，避免矛盾进一步恶化而造成更大的社会损失。对预警热点进行监管规范网络行为，净化网络环境，再从中获得有用的价值，例如商业价值，信息传播以及社会学方面的研究价值，并从中满足人们的需求，同时对于社会的和谐，网络舆论生态的健康，公司管理层的正确决策，国家的发展都有重要的现实意义。之后还可以对增加近年来网民的素质以及看法的分析和对热点的关注点推荐系统。

(6)舆情情感分析预警系统预期对微博的新闻头条和热搜排行进行自动采集，进行对话题热度的趋势变化和发布分析，对网民的热点评论数据进行情感分析，得出最近热点关键词，输入关键词后可对该关键词有关的微博消息进行评估预警，提醒使用者以便于做出应对措施