Spark实战项目1-模拟网站流量分析与展示
1、概述
这是在学习spark过程中写的一个小Demo。使用python来生成模拟网站访问的日志,通过Spark Streaming对日志经过分析,然后存储进Hbase中,并且使用Spring Boot进行数据的读取与展示。这个Demo是Spark streaming 与flume kafka整合的扩充,只不过增加了将数据存储进HBase和后续的Spring boot展示。该Demo的流程如如下所示:
可以看出数据自从python产生后经过Flume、kafka等最终流向Spring boot。项目的最终效果图如下所示
分别对当天网站里的课程访问量,以及相关课程引流的来源进行分析,也就是从哪些搜索引擎点击进入的。
项目的具体代码都在我的github中,https://github.com/XiaoQQin/Spark-Porjects/Real time analysis of website traffic</