学习完慕课网SparkSQL日志分析这门课之后,我想把我做项目的过程与踩的坑与大家分享一下,希望对大家能有帮助。
1.项目的整体架构
2.概述
这个项目比较简单,是对于SparkSQL知识的一种梳理,所以没有应用Flume和Kafka导入数据。针对于慕课网日志进行数据分析,对日志信息清洗使其转化为合适的格式,并对清洗好的数据进行多维度的统计分析,并将统计分析的结果打到MySQL上,方便其进行数据的可视化。
3.需求
这个项目一共有三个需求:
- 需求一:统计imooc主站最受欢迎课程/手记的topn访问次数
- 需求二:按地市统计imooc主站最受欢迎topn课程
- 需求三:按流量统计imooc主站最受欢迎的topn课程
4.数据展示
注:github地址我会在之后提交,希望大家持续关注