1.爬取17k.的小说数据约5-10万，存入mysql数据库；
2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；
3.根据.csv文件结构，使用hive建库建表；
4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;
5.将分析结果使用sqoop导入mysql数据库；
6.使用Flask+echarts构建可视化大屏；
创新点：Python爬虫、海量数据、可视化、实时计算spark+离线计算hive双实现
可选装知识图谱、推荐系统、后台管理、预测系统
本博客分享了一次大数据毕业设计，涉及爬取17k小说数据、MapReduce清洗、Hive建表、Spark分析、Flask+Echarts大屏展示。作者拥有丰富工作经验，分享了全套学习资料，涵盖大数据开发主要知识点，提供技术交流社区。
最低0.47元/天 解锁文章
扫一扫
2018
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
