业务数仓的监控与优化

1.背景与意义

1.1 背景

数据仓库的建设不是一蹴而就、一尘不变的，而是一个持续的过程，需要随着业务的变化而不断地进行衍进与迭代。它与业务一样在不断地生长和进化。

在数据仓库建设过程中，参与建设的人员能力参差不齐，就会导致数仓在建设过程中多少存在一些问题，这种问题在初期由于没有下游或下游较少并不会有太大的影响，但经过长期的积累和应用问题就会被逐步放大，最终带来性能的影响与生产的延迟。

那么在整个数据仓库建设过程中除了要有数仓建设理论、规范，也需要有辅助工具对现有数仓内容进行数据监控，这样从源头规范开发流程，同时也有工具反馈当前数据仓库的状态，才能及早处理存在的问题。

1.2 意义

同上

2.技术路径与实现方式

2.1数据仓库理论

不在本文叙述范围，可以关注：

基础架构：Lambda架构、Kappa架构

数仓建模：范式建模、维度建模、DV模型、Anchor模型

建模流程：概念建模->逻辑建模->物理建模

数据分层：ODS->DWD->DWM->DWS->ADS、A->B3->B2->B1->C、ODS->PDW->MID->APP、whatever

业务主题：交易、人员、客户、商城等。（逻辑隔离、物理隔离）

OLAP工具：Kylin、Doris、TiDB、Clickhouse

2.2看见生产流程

我们暂不