（02）离线数仓

前言-

之前写过一篇关于离线数仓的文档，有个开头，因为工作原因，没有接上，接下来让我好好把这些文章整理一下，结合我对数仓的学习

1.框架版本选型

1 ）如何选择 Apache/CDH/HDP 版本？

（ 1 ） Apache ： 运维麻烦，组件间兼容性需要自己调研 。（一般大厂使用，技

术实力雄厚，有专业的运维人员） （ 建议使用 ）

（ 2 ） CDH ：国内使用最多的版本，但 CM不开源

（ 3 ） HDP ：开源，可以进行二次开发，但是 没有 CDH 稳定，国内使用较少

 

（ 1 ） Apache 框架版本

产品

版本

 

注意事项： 框架选型尽量不要

选择最新的框架，选择最新框

架半年前左右的稳定版。

2.服务器的选型

服务器选择 物理机 还是 云主机 ？

1 ）物理机：

➢

以 128G 内 存， 20 核物理 CPU ， 40 线程， 8THDD 和 2TSSD 硬 盘，戴尔品牌

单台报价 4W 出头 。 一般物理机寿命 5 年左右。

➢

需要有 专业的运维人员，平均一个月 1 万。电费也是不少的开销。

2 ）云主机：

➢

云主机 ：以阿里云为例，差不多相同配置， 每年 5W 。

➢

很多运维工作都 由阿里云完成 ，运维相对较轻松

3 ）企业选择

➢

金融有钱公司 和阿里没有直接冲突的公司选择阿里云

➢

中小公司、 为了融资上市 ，选择阿里云，拉倒融资后买物理机。

➢

有 长期打算 ，资金比较足，选择物理机。

 

3.集群资源规划设计

 

集群规模

1 ）如何确认集群规模？（假设：每台服务器 8T 磁盘， 128G 内存）

（ 1 ）每天日活跃用户 100 万，每人一天平均 100 条： 100 万 *100 条 =1 亿条

（ 3 ）半年内不扩容服务器来算： 100G*180 天 = 约 18T

（ 4 ）保存 3 副本： 18T*3=54T

（ 5 ）预留 20%~30%Buf= 54T/0.7=77T

（ 6 ）算到这： 约 8T*10 台服务器

 

 

2 ）如果考虑数仓分层？数据采用压缩？需要重新再计算