大数据数仓建模（2）

        大数据项目之电商数仓（用户行为数据采集）

第2章 项目需求及架构设计

2.1项目需求分析项目需求：

一，项目需求
1. 用户行为数据采集平台搭建
2. 业务数据采集平台搭建
3. 数据仓库维度建模
4. 分析，用户，流量，会员，商品，销售，地区，活动等电商核心主题，统计的报表指标近100个。完全对比中型公司。
5. 采用即席查询工具，随时进行指标分析
6. 对集群性能进行监控，发生异常需要报警
7. 元数据管理
8. 质量监控

二，思考题
1. 项目技术如何选型？
2. 框架版本如何选型（apache，CDH，HDP）
3. 服务器使用物理机还是云主机
4. 如果确认集群规模？（假设每台服务器8T硬盘）

2.2项目框架
2.2.1技术选项（1）

（1）技术选型的时候；尽量选择成熟的技术，没有必要追求最新的技术：
mr：离线计算
hive：数仓，数据分析
spark：离线计算，实时计算
flink：实时为主。也可以做离线，实时性更好
nginx服务器做什么？
1.反向代理，负载均衡，虚拟主机。

技术选型
技术选型主要