dbt-superset-lineage 项目教程
项目介绍
dbt-superset-lineage
是一个用于将 Apache Superset 中的仪表板提取到 dbt 文档中作为曝光的包。通过这个工具,用户可以:
- 将 Superset 仪表板的依赖添加到 dbt 的源和模型中。
- 从 dbt 文档同步模型和列描述到 Superset。
这有助于避免因废弃或更改模型导致的仪表板损坏,并帮助用户在创建图表时选择正确的属性,而无需在图表和文档之间来回导航。
项目快速启动
安装
首先,使用 pip 安装 dbt-superset-lineage
:
pip install dbt-superset-lineage
使用
- 编译 dbt 项目:
cd jaffle_shop
dbt compile
- 设置 Superset 访问令牌:
export SUPERSET_ACCESS_TOKEN=<TOKEN>
- 拉取仪表板:
dbt-superset-lineage pull-dashboards https://mysuperset.mycompany.com
- 推送描述:
dbt-superset-lineage push-descriptions https://mysuperset.mycompany.com
应用案例和最佳实践
应用案例
假设你在一个数据团队中,使用 dbt 进行数据建模,并使用 Superset 进行数据可视化。通过 dbt-superset-lineage
,你可以确保 Superset 中的仪表板始终与 dbt 模型保持同步,从而避免因模型变更导致的仪表板损坏。
最佳实践
- 定期同步:建议定期运行
pull-dashboards
和push-descriptions
命令,以确保 Superset 和 dbt 之间的数据一致性。 - 版本控制:确保在运行这些命令时,dbt 和 Superset 的版本兼容,以避免因版本不一致导致的错误。
典型生态项目
- dbt:数据建模工具,用于构建和管理数据模型。
- Apache Superset:一个现代的数据探索和可视化平台。
- Airflow:一个用于编排复杂数据管道的工具,可以与 dbt 和 Superset 集成,实现自动化数据处理和可视化。
通过这些工具的集成,可以构建一个完整的数据处理和可视化生态系统,提高数据团队的效率和数据产品的质量。