两小时大数据
文章平均质量分 76
baidu_33903346
这个作者很懒,什么都没留下…
展开
-
Lv游网电商离线数据分析平台--1.需求分析
项目介绍整体架构:hadoop, hfds, hbase, hive, flume, sqoop, oozie- 日志收集- 数据分析: ETL, MR_Job, Hive 分析,存储到Hbase或MySQL- 数据展示:SpringBoot, Mybatis, Hicharts, 访客访问量,活跃数量,比率,地区热力图项目综述项目划分为lv_track,lv_transfore...原创 2018-10-12 04:26:32 · 956 阅读 · 0 评论 -
Lv游网电商离线数据分析平台--2.数据展示分析
数据展示系统(lv_dataapi)1、总述lv_dataapi 项目的主要目标有两个:第一个就是提供一个提供json数据的Rest API;另外就是提供一个展示结果的demo页面。lv_dataapi 使用 SpringBoot+mybatis+mysql 来搭建提供rest api的项目框架,使用 Highcharts 来进行demo页面的搭建。在本次项目中,我们将所有的API高度...原创 2018-10-19 18:34:38 · 598 阅读 · 1 评论 -
Lv游网电商离线数据分析平台--3.用户行为分析
1、总述 用户行为分析和数据收集模块 bf_transformer 的主要目标有两个,ETL操作:就是解析过滤用户日志数据,并将解析后的数据保存到 HBase; 从 HBase 读取日志数据,然后编写 mr/hive 的 Job 进行数据分析,然后将结果保存到 MySQL。2、结构Java SDk数据引擎编写:设计规则:两个事件触发方法,onChargeSuccess() ...原创 2018-10-19 20:57:51 · 412 阅读 · 0 评论 -
Lv游网电商离线数据分析平台--4.数据存储设计
本项目设计到数据存储的有三个地方:将原始的日志数据按天保存到hdfs文件系统中;(lv_track) 将etl解析后的数据保存到hbase中;(lv_transformer) 将分析结果保存到mysql数据库中。(lv_dataapi)其中存储到hbase和mysql的这两个过程需要设计具体的存储结构。1、HBase表结构设计 需要按天进行数据分析,所以 hbase的rowke...原创 2019-01-31 11:47:44 · 229 阅读 · 1 评论