- 博客(6)
- 收藏
- 关注
RSS订阅原创 如何使用 dbt 编写高质量的数据模型
数据建模是一个越来越受到关注的话题，尤其是在数据分析领域。数据建模和流行的数据转换工具 dbt 齐头并进。虽然数据建模是一个已经存在了很长时间的概念，但dbt给了它一个新的开始，并真正重新定义了数据模型是什么。我喜欢将数据模型视为一组转换，这些转换将数据从原始形式中获取，并将其转换为业务团队可以使用的东西。编写数据模型已成为分析工程师的主要职责，因为他们能够理解技术概念以及业务流程。DBT只是让分析工程师的生活更轻松，允许他们编写模块化的数据模型，其代码可以在不同的功能中重用。在本文中，我们将讨论 dbt
2023-04-12 14:19:09
700
转载 ETL 与 ELT的关键区别
ETL 和 ELT 之间的主要区别在于转换的时间和位置：它是在数据加载到数据仓库之前还是在存储之后发生。实施管道所需的技术技能，支持每个选项所需的产品数量和复杂性，技能团队雇用的数据团队本身的结构，以及数据堆栈的准备性和灵活性。在我们深入了解这些差异的细节之前，让我们清楚地定义什么是 ETL 和 ELT，以及为什么 ELT 已成为分析行业的最新现象。什么是 ETL？ETL或“提取、转换、加载”是首先从数据源中提取数据，对其进行转换，然后将其加载到目标数据仓库的过程。
2023-03-31 11:58:57
201
1
原创 数据工程：ELT 工作流中的 6 个步骤
数据转换过程可以分为六个步骤：提取extraction和加载loading、探索exploration、转换transformation、测试testing、文档documentation和部署deployment。
2023-03-29 10:09:12
175
原创 DBT项目结构
dbt 项目告知 dbt 项目的上下文以及如何转换数据（构建数据集）。根据设计，dbt 强制执行 dbt 项目的顶级结构，如文件、目录、目录等。设置与数据平台的连接后，您可以在 dbt Cloud 中初始化新项目并开始开发。每个模型都位于单个文件中，并包含将原始数据转换为可供分析的数据集的逻辑，或者更常见的是，是此类转换的中间步骤。一种在项目中组织分析 SQL 查询的方法，例如 QuickBooks 中的总账。在项目初始化期间，dbt 会在项目目录中创建示例模型文件，以帮助您快速开始开发。
2023-03-27 10:20:59
217
原创 DBT是什么
DBT 是一种数据转换工作流，可帮助您完成更多工作，同时产生更高质量的结果。您可以使用 dbt 来模块化和集中分析代码，同时还为数据团队提供软件工程工作流中常见的护栏。在将数据模型安全部署到生产环境之前，通过监控和可见性协作处理数据模型，并对其进行测试和记录。
2023-03-24 10:10:19
835
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人