【离线数仓面试】数仓架构：架构、输入输出、流程、框架选型及版本、项目集群规模、分层架构、分层原因...

1、数仓架构介绍

神策数据：

云上数仓：https://www.aliyun.com/solution/datavexpo/datawarehouse

2、数仓的输入输出

输入系统：用户埋点行为数据、后台产生的业务数据、爬虫数据。

输出系统(BI)：报表系统、大屏展示、用户画像系统、推荐系统

3、系统流程

4、框架选型

1)Apache：运维麻烦，需要对组件兼容性进行维护

2)CDH：国内使用最多，不开源，对中、小公司没有影响(建议使用)

3)HDP：开源，可以进行二次开发，但是没有CDH稳定，国内使用较少

5、版本选择

Apache、CDH

6、集群规模(实习项目也可)

每条消息1K，压缩后不0.1K

Kafka所用的空间计算

 

7、数仓分层架构

 

ods 原始数据层 存放原始数据，保持原貌不做处理

dwd 明细数据层 对ods层数据清洗(去除空值，脏数据，超过极限范围的数据)

dws 服务数据层 轻度聚合  形成宽表

ads 应用数据层 具体需求

8、为什么对数仓分层

分层优点：复杂问题简单化、清晰数据结构(方便管理)、增加数据的复用性、隔离原始数据(解耦)