数仓开发遇到的问题及解决方案

注文章参考公众号：大数据技术派        

数仓工作中的常见问题及解决方案https://mp.weixin.qq.com/s/zMt6v80-Koge7J7K1D1g9w

目录

一.数据仓库现状

1.1业务系统侧【上游】

1.2数仓内部

 1.3数据应用侧【下游】

二、如何解决问题

2.1业务系统侧【上游】

2.2数仓内部

2.2.1制定数仓建设规范

2.2.1.1数据模型设计规范

2.2.1.1.1数仓分层原则

2.2.1.1.2主题域划分原则

2.2.1.1.3数据模型设计原则

2.2.1.1.4数据模型管理的目标

2.2.1.2数仓公共开发规范

2.2.1.2.1层次调用规范

2.2.1.2.2数据类型规范

2.2.1.2.3数据冗余规范

2.2.1.2.4 空值处理原则

2.2.1.3数仓各层开发规范

2.2.1.3.1 ODS层设计的规范

2.2.1.3.2 DIM层设计的规范

 2.2.1.3.3 DWD层设计的规范

2.2.1.3.4 DWS公共汇总层设计规范

2.2.1.4数仓各层命名规范

2.2.1.4.1 ODS层的命名规范

2.2.1.4.2 DIM层的命名规范

2.2.1.4.3 DWD层的命名规范

2.2.1.4.4 DWS层的命名规范

---

一.数据仓库现状

     业务增长速度快，取数需求激增、下游应用场景对数据质量、响应速度、数据时效性的要求越来越高。根据数仓数据的流转链路，从业务系统侧[【上游】->数仓内部->数据应用【下游】、梳理各环节存在的问题。（数仓建设中遇到什么难题？业务方面，技术方面）

1.1业务系统侧【上游】

     数据仓库首先需要对业务系统的结构化数据、日志数据及埋点数据等进行汇聚。在对接过程中，主要存在以下问题：

• 缺乏业务系统数据变更的通知机制：针对已经入仓的业务系统数据、后期结构发生变更（例如：表的schema信息变更）没有及时告知数仓，而是下游用数者发现问题后通知数仓（数仓很容易背锅）。