大数据项目之电商数仓(用户行为数据采集)
第2章 项目需求及架构设计
2.1项目需求分析项目需求:
一,项目需求
1. 用户行为数据采集平台搭建
2. 业务数据采集平台搭建
3. 数据仓库维度建模
4. 分析,用户,流量,会员,商品,销售,地区,活动等电商核心主题,统计的报表指标近100个。完全对比中型公司。
5. 采用即席查询工具,随时进行指标分析
6. 对集群性能进行监控,发生异常需要报警
7. 元数据管理
8. 质量监控
二,思考题
1. 项目技术如何选型?
2. 框架版本如何选型(apache,CDH,HDP)
3. 服务器使用物理机还是云主机
4. 如果确认集群规模?(假设每台服务器8T硬盘)
2.2项目框架
2.2.1技术选项(1)
(1)技术选型的时候;尽量选择成熟的技术,没有必要追求最新的技术:
mr:离线计算
hive:数仓,数据分析
spark:离线计算,实时计算
flink:实时为主。也可以做离线,实时性更好
nginx服务器做什么?
1.反向代理,负载均衡,虚拟主机。
技术选型
技术选型主要