带数据
「已注销」
好好学习,好好敲代码
展开
-
Spark实战项目2-电商分析平台
概述 这是关于spark的一个稍微复杂的一个Demo,通过对一个电商网站模拟数据的处理,来加深spark的应用。首先产生模拟数据,模拟数据分为本地数据和实时数据,后续的分析针对这两种不同的数据有着不同的操作。总共有十多个小需求,通过对数据进行分析,产生结果后存储进Mysql数据库。数据的整体流向如下所示: 模块 该项目总体模块有2个:离线统计和实时统计。离线统计针对本地数据作出一系列的分析,实时...原创 2020-02-20 22:46:41 · 1013 阅读 · 1 评论 -
Spark实战项目1-模拟网站流量分析与展示
Spark实战项目1-模拟网站流量分析与展示1、概述2、流程2.1、数据生成2.2、启动环境与创建Hbase表2.3、创建kafka的topic2.4、启动Flume2.5、创建Spark Streaming 项目2.6、创建S 1、概述 这是在学习spark过程中写的一个小Demo。使用python来生成模拟网站访问的日志,通过Spark Streaming对日志经过分析,然后存储进Hbase中...原创 2019-12-25 20:38:11 · 1059 阅读 · 0 评论