1.scrapy采集豆瓣图书数据存入sqlite便携式内嵌数据库,从sqlite导出csv文件,使用pandas+numpy/MapReduce数据清洗再次生成清洁的.csv文件;
2.使用hive数仓工具进行建库建表操作并导入.csv文件数据;
3.离线分析采用hive_sql完成,实时计算采用Spark+Scala完成;
4.离线+实时计算的结果指标使用sqoop导入mysql数据库;
5.使用Flask+Echarts搭建可视化大屏展示;
创新点:scrapy分布式爬虫、可视化大屏、离线+实时计算双实现
可以选装如下系统的后台管理系统、推荐系统、预测系统、知识图谱等