数据仓库主题三-（实施篇）

背景：

如何从具体的需求或项目转换为可实施的解决方案，如何进行需求分析、架构设计、详细模型设计等，则是模型实施过程中讨论的内容。业界常用两种数据仓库建设模型思想分为两种kimball和inmon模型。（具体的kimball和inmon 模型思想可以自行百度理解）

在我们实践中也经常会用到数据仓库模型层次的划分，和kimball、Inmon的模型 实施理论有一定的相通性，但是不但不涉及具体的模型表达。

业务建模：生成业务模型，主要解决业务层面的分解和程序化。
领域建模：生成领域模型，主要是对业务模型进行抽象和处理，生成领域概念模型。
逻辑建模：生成逻辑模型，主要是将领域模型的概念实体化以及实体之间的关系进行数据库层次的逻辑 化
物理建模：生成物理模型，主要解决逻辑模型针对不同关系数据库的物理化以及性能等一些具体技术问题。

业界常用的模型实施过程

1、指导方针
首先，在建设大数据数据仓库时，要进行充分的业务调研和需求分析。这是数据仓库建设的基石，业务调研和需求分析做的是否充分决定了数据仓库建设的是否成功。其次进行数据总统架构设计，主要是根据数据域对数据进行划分；按照维度建模的理论，构建总线矩阵、抽象出业务过程和维度。再次，对报表需求进行抽象整理相关指标体系,最后根据规范定义出数据模型。

2、具体模型实施流程参考下面流程逻辑

在建设数据域的划分过程中。如果业务相似、业务相关性比较大，进行统一集中建设。反之一般各个领域都会独自建立数据仓库。

例如在电商业务相关，我们不难发现几个不同业务线业务相关性比较大的：

具体实施详细步骤可以分为以下几步：
1、需求调研
可以想象一下，在没有考虑分析师、业务运营人员的数据需求的情况下，根据业务调研建设的数据仓库无疑等于闭 门造车。了解了业务统的业务后并不代表就可以进行实施了，此刻要做的就是收集数据使用
者的需求，可以去找分析师、业务运营人员了解他们有什么数据诉求，此时更多的就是报表需求。
需求调研的途径有两种： 是根据与分析师、业务运营人员的沟通（邮件、 IM ）获知需求： 是对报表系统中现有的报表进行研究分析通过需求调研分析后，就清楚数据要做成什么样的。很多时候，都是由具体的数据需求驱动数据仓库团队去了解业务系统的业务数据，这两者并没有严格的先后顺序。
举例：分析师需要了解大淘宝（淘宝、天猫、天猫国际） 级类目的成交金额。当获取这个需求之后，我们要分析根据什么（维度）汇总，以及汇总什么度量。从这里可以明白的看出类目是维度，而金额是具体的度量; 明细数据和汇总数据应该怎样设计那？ 这是一个公共的报表吗 ？需要沉淀到汇总表里面吗 ，还是在报表工具中进行汇总？ 等。

2、数据域划分
数据域是指面向业务分析，将业务过程或者维度维度进行抽象的集合。业务过程可以概况为一个个不可拆分的行为事件。如下单、支付、退款。为保障整个体系 的生命力，数据域需要抽象提炼，并且长期维护和更新，但不轻易变动。在划分数据域时，既能涵盖当前所有的业务需求。又能在新业务进入时无影响的被包含进已有的数据域中或者扩展新的数据域。

例子 ：下面具体的将功能模块/业务线抽象为数据域的例子。。请自行理解其转化逻辑。


3、构建数据总线

在进行充分的业务调研和需求调研后，就要构建总线矩阵了。需要做两件事情 ：明确每个数据域下面有哪些业务过程；业务过程与哪些维度相关。并定义每个数据域下的业务过程和维度。

4、规范定义：
规范定义主要定义指标体系，包括原子指标、修饰词、时间周期和派生指标。
参考：https://blog.csdn.net/weixin_40809627/article/details/107858726

5、模型设计：
模型设计主要包括维度级属性的规范定义，维表、明细事实表和汇总事实表的模型设计。（具体设计思想可以参考后续总接）

综述：
实施过程是一个高度迭代和动态的过程， 般采用螺旋式实施方法。在总体架构设计完成之后，开始根据数据域进行迭代式模型设计和评审。在架构设计、规范定义和模型设计等模型实施过程中，都会引人评审机制，（多人评估消除孤岛问题）以确保模型实施过程的正确性。

注意：文章很多引用阿里设计思想多个资料如果版权问题。请及时告知

建模流程还可以参考（业务流程）：https://mp.weixin.qq.com/s/A-dL-qJ7PCd1YBjwONby9w
建模流程（主题角度）：https://mp.weixin.qq.com/s/Yla-7TmuH3M9UFCtX4T-3w