计算机毕业设计之正文基于爬虫的英文演讲数据分析及可视化

本研究致力于构建一个基于爬虫的英文演讲数据分析及可视化系统，利用Python编程语言、MySQL数据库以及Hadoop和Spark等大数据技术，实现高效的数据处理和分析。该平台的核心功能包括数据爬取、处理、分析和可视化。首先，利用爬虫程序爬取英文演讲的相关数据，这些数据涵盖了演讲的主题，演讲者，时间，时长，分类等多个维度，然后通过hadoop和spark大数据技术进行分布式存储和计算，使用Mysql进行数据的保存，通过Vue.js框架结合Echarts库构建了数据可视化界面。展示的可视化数据包括有演讲者统计，演讲时长统计，演讲时间统计，演讲话题统计等。另外通过朴素贝叶斯机器学习算法建立模型，展示演讲内容中的语句是积极还是消极。总的来说，系统的开发不仅为用户提供了更加便捷、高效的演讲数据查询和分析工具，也为演讲技巧的提升提供帮助。

根据以上的功能需求情况，整体的功能模块包括有前端程序，大数据程序，注册与登录后台程序和可视化数据展示后台程序。其中前端程序主要就是对应的vue页面项目，包括有注册与登录页面的构建，可视化数据展示页面等。爬虫程序主要是为了获取分析的数据源的。大数据程序使用spark进行创建，对原始的数据集进行分割和存储等操作。为了提升项目的层次性，系统针对注册与登录创建单独的一个项目，另外对大数据相关的数据处理创建一个项目。

图4.2系统功能模块图

通过以上步骤，接下来就是系统可视化页面展示阶段了。系统前台页面通过vue框架结合element-ui等插件实现，采用了Django web框架，后台使用python进行代码的书写。在用户登录后进入系统首页，首页在展示数据之前肯定是需要先从数据库调取相应的数据，经过web服务器的解析，然后进行展示，首页主要展示的可视化数据包括有演讲者统计，演讲时长统计，演讲时间统计，演讲话题统计等。另外，其中的演讲内容的积极与消极的展示，是通过情感分析模型进行判定的。

     图5.3系统主界面图