慕课网日志分析实战一：架构及概述

学习完慕课网SparkSQL日志分析这门课之后，我想把我做项目的过程与踩的坑与大家分享一下，希望对大家能有帮助。
1.项目的整体架构

2.概述
这个项目比较简单，是对于SparkSQL知识的一种梳理，所以没有应用Flume和Kafka导入数据。针对于慕课网日志进行数据分析，对日志信息清洗使其转化为合适的格式，并对清洗好的数据进行多维度的统计分析，并将统计分析的结果打到MySQL上，方便其进行数据的可视化。

3.需求
这个项目一共有三个需求：

• 需求一：统计imooc主站最受欢迎课程/手记的topn访问次数
• 需求二：按地市统计imooc主站最受欢迎topn课程
• 需求三：按流量统计imooc主站最受欢迎的topn课程

4.数据展示

注：github地址我会在之后提交，希望大家持续关注