数据转换工具DBT介绍及实操（下）

最新推荐文章于 2024-06-25 09:28:09 发布

weixin_72407838

最新推荐文章于 2024-06-25 09:28:09 发布

阅读量1.2k

点赞数

文章标签： python linux 开发语言

本文链接：https://blog.csdn.net/weixin_72407838/article/details/129426805

版权

本文档详细介绍了在Windows/Linux环境下如何搭建DBT环境，包括安装依赖、配置数据库连接，以及通过DBT进行数据建模的全流程，包括数据导入、模型生成和自定义模型开发。DBT作为数据建模工具，虽有一定的使用门槛，但能统一数据建模规范，支持多种数据源，提高数据模型的复用性和稳定性。

摘要由CSDN通过智能技术生成

六、DBT数据建模全流程实操
1、搭建DBT环境

DBT可在windows\mac\linux等系统独立部署运行，也可通过Docker部署，官方还提供DBT Cloud，本文档的演示环境为在windows系统下的linux环境。DBT的运行依赖Python环境，推荐Python3.9+版本，本文档的演示环境为Python3.9.7。

#1、安装必须的插件
###centos或者RedHat环境下：
sudo yum install redhat-rpm-config gcc libffi-devel python-devel openssl-devel
pip install --upgrade pip wheel setuptools
###ubutun或者deb、deepin环境下
sudo apt-get install redhat-rpm-config gcc libffi-devel python-devel openssl-devel
pip install --upgrade pip wheel setuptools
#2、安装需要的数据源插件（按需选择，如本文档演示环境为Kingbase8，选择postgres即可）
pip install \
dbt-core \
dbt-postgres \
dbt-redshift \
dbt-snowflake \
dbt-bigquery
#3、安装完毕后，查看版本号

dbt --version

依次运行完上述命令后，正常情况下会输出以下内容。，证明安装完毕！image.png
2、初始化DBT构建项目

dbt init dbt_project

运行完成后，会在当前用户家目录下生成.dbt目录，目录结构如下，一般访问~/.dbt路径即可到达该目录，目录下生成了以下子文件夹及dbt_project.yml即可证明初始化成功，建议将该目录迁移到某一个固定空间，如本文的D:/test/dbt_project：
image.png
3、修改数据库连接信息

修改profiles.yml文件，添加数据库连接的URL、USERNAME、PASSWORD等信息，保存后运行命令：

dbt debug

当输出如下内容，即证明DBT成功连接到配置好的数据库（本文连接的是测试环境KingbBase）
image.png
4、启动DBT