本文介绍了使用PythonSelenium抓取直播数据，存储至CSV和MySQL，并通过HDFS上传至Hive进行建模。Spark和Scala用于复杂分析，部分结果导入MySQL，同时利用Flask和Echarts实现数据的动态可视化大屏。创新点包括实时和离线计算能力以及基于真实数据的可视化展示。
开发技术：selenium(Python爬虫)、spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql
分析流程：python爬取直播数据存到.csv文件、mysql数据库(备份数据集)，上传CSV到hdfs分布式文件系统上，hive导入csv建模，一部分指标使用hive_sql分析后用sqoop导入mysql，一部分指标使用idea+spark+scala分析计算存入mysql。最终利用flask+echarts构建可视化大屏炫酷
创新点：可视化大屏；spark+hive离线计算、实时计算全部实现；Python采集真实直播数据
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
