新手入门指南：如何构建数据仓库和管道

构建数据仓库(data warehouse)和数据管道(data pipelines)是非常复杂的事情，如果你进入数据工程的世界，很快就会发现没有完全正确或错误的方法，如何创建取决于项目需求。

然而在构建数据管道时，应该遵循一些基本流程，这样可以提高数据管道的可操作性和性能。

在这篇文章中，我向大家分享一个路线图，作为构建数据仓库和管道的指南。

基本概念

DataSchool的《Cloud Data Management》是学习构建数据仓库的很好的教程。在这本书中，他们介绍了处理数据的4个阶段，这些阶段是数据工程师多年来一直遵循的结构模式。

基础架构

数据仓库和管道的基本架构可以分为四个部分：数据源(data sources)、数据湖(data lake)、数据仓库(data warehouse)和数据集市(data marts)。

• 数据源：商业运营产生的数据，一般来自于数据库、CRM、API等。
• 数据湖：数据湖是一个存储库，存储多个原始数据集，在这个阶段数据通常是非结构化的，并且有点凌乱。
• 数据仓库&#x