一、数仓项目需求及架构设计
数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
数据仓库是出于分析报告和决策支持目的而创建的,为需要业务智能的企业,提供指导业务流程改进、监控时间、成本、质量以及控制。
1、项目需求分析
- 数据采集平台搭建;
- 实现数据仓库分层的搭建;
- 实现数据清洗、聚合、计算等操作;
- 统计各指标,如统计通过各地址跳转注册的用户人数、统计各平台的用户人数、统计支付金额topN的用户;
2、项目框架
1)技术选型
- 数据存储:Hdfs
- 数据处理:Hive、Spark
- 任务调度:Azkaban
2)流程设计
框架版本选型:
如何选择Apache/CDH/HDP版本?
Apache∶运维麻烦,组件间兼容性需要自己调研。(一般大厂使用,技术实力雄厚,有专业的运维人员)。
CDH∶国内使用最多的版本,但CM不开源,但其实对中、小公司使用来说没有影响(建议使用)。