数仓建设生命周期_阿里云数仓总架构师：企业大数据平台仓库架构建设思路

总体思路

随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据不断地产生。新环境下的数据应用呈现业务变化快、数据来源多、系统耦合多、应用深度深等特征。那么基于这些特征，该如何构建数据仓库呢？我认为应该从稳定、可信、丰富、透明四个关键词入手。其中，稳定要求数据的产出稳定、有保障；可信意味着数据的质量要足够高；丰富是指数据涵盖的业务面要足够丰富；透明要求数据构成流程体系是透明，让用户放心使用。

我们之所以选择基于大数据平台构建数据仓库，是由大数据平台丰富的特征决定的：

强大的计算和存储能力，使得更扁平化的数据流程设计成为可能，简化计算过程；

多样的编程接口和框架，丰富了数据加工的手段；

丰富的数据采集通道，能够实现非结构化数据和半结构化数据的采集；

各种安全和管理措施，保障了平台的可用性。

仓库架构设计原则包括四点：第一自下而上结合自上而下的方式，保障数据搜集的全面性；第二高容错性，随着系统耦合度的增加，任何一个系统出现问题都会对数仓服务产生影响，因此在数仓构建时，高容错性是必不可少的因素；第三数据质量监控需要贯穿整个数据流程，毫不夸张地说，数据质量监控消耗的资源可以等同于数据仓库构建的资源；第四无需担心数据冗余，充分利用存储换易用。