开源项目教程：dbt-labs 的 Jaffle Shop

最新推荐文章于 2024-09-01 09:55:17 发布

董斯意

最新推荐文章于 2024-09-01 09:55:17 发布

阅读量355

点赞数 3

本文链接：https://blog.csdn.net/gitblog_00257/article/details/141154071

版权

开源项目教程：dbt-labs 的 Jaffle Shop

jaffle_shopA self-contained dbt project for testing purposes项目地址:https://gitcode.com/gh_mirrors/ja/jaffle_shop

项目介绍

Jaffle Shop 是一个用于探索 dbt（数据建设工具）基本功能和最新特性的沙盒项目。本项目专为熟悉或希望学习 dbt 的数据工程师设计。Jaffle Shop 源自澳大利亚的经典美食——夹饼（jaffle），其特色在于封边的烤三明治，可容纳高温液态内馅。该项目不仅展示了如何在不同SQL方言中构建模型，还提供了完整的端到端数据处理流程示例。

关键特性：

dbt 核心命令：支持测试模型、生成项目文档及实时查看。
数据库操作示例：创建仓库、数据库、用户等基础设置。
数据种子与模型构建：通过种子文件初始化数据并构建数据模型。

项目快速启动

环境准备

确保安装了 dbt-core，推荐使用Python虚拟环境来管理依赖。

pip install dbt-core

克隆项目

从GitHub克隆Jaffle Shop项目至本地：

git clone https://github.com/dbt-labs/jaffle_shop.git
cd jaffle_shop

配置您的数据库连接

编辑 profiles.yml 文件以配置您的数据库连接详情。

初始化并运行dbt

编译与测试

编译模型并运行测试以验证正确性：

dbt compile
dbt test

生成并服务文档

生成项目文档并启动服务，以便查看模型结构和文档：

dbt docs generate
dbt docs serve

应用案例和最佳实践

在Jaffle Shop项目中，最佳实践包括：

使用 dbt 的模型层分离逻辑（如，source、transform和model）。
利用 dbt 的测试能力，确保数据质量。
自动化文档生成，保持团队对数据模型的理解同步。

示例：在一个典型的转型流程中，从原始数据(raw)层开始，比如raw_customers表，经过转换处理后，可能会形成staging_customers，最终进入分析层或维度模型层。

{%- call statement('create_and_load_customers', auto_increment=True) -%}
CREATE TABLE {{ ref('staging_customers') }} AS (
    SELECT
        id,
        first_name,
        last_name,
        ...
    FROM {{ source('jaffle_shop', 'customers') }}
);
{% endcall %}