电商数仓-用户行为数据采集
数据仓库的概念
数据仓库( Data Warehouse ),是为企业所有决策制定过程,提供所有系统数据支持的战略集合。
通过对数据仓库中数据的分析,可以帮助企业,改进业务流程、控制成本、提高产品质量等。
数据仓库,并不是数据的最终目的地,而是为数据最终的目的地做好准备。这些准备包括对数据的:清洗,转义,分类,重组,合并,拆分,统计等等。
项目的需求分析和架构设计
项目需求分析
-
数据采集平台搭建
-
实现用户行为数据仓库的分层搭建
-
实现业务数据仓库的分层搭建
-
针对数据仓库中的数据进行,留存、转化率、GMV、复购率、活跃等报表分析
需要考虑的问题:
-
项目技术如何选型?
-
项目中所用的框架的版本如何选型(Apache、CDH、HDP)
-
服务器选用物理机还是云主机?
-
如何确认集群规模
项目框架
技术选型
-
数据采集传输:Flume,Kafka,Sqoop ,Logstash,DataX
-
数据存储:MySql,HDFS,HBase,Redis,MongoDB
-
数据计算:Hive,Tez, Spark, Flink,Storm
-
数据查询:Presto,Druid ,Impala,Kylin
系统数据流程设计
公众号ID:ldc11235
扫码关注最新动态,跟我一起学大数据