dbt-clickhouse插件安装与使用指南

颜钥杉Harriet

于 2024-09-09 09:13:25 发布

阅读量1k

点赞数 8

本文链接：https://blog.csdn.net/gitblog_00962/article/details/142045338

版权

dbt-clickhouse插件安装与使用指南

dbt-clickhouseThe Clickhouse plugin for dbt (data build tool)项目地址:https://gitcode.com/gh_mirrors/db/dbt-clickhouse

1. 项目目录结构及介绍

dbt-clickhouse项目基于GitHub管理，其核心结构设计以Python包的形式组织，支持dbt（数据构建工具）与ClickHouse数据库集成。以下是项目主要目录及其简介：

examples/taxis: 示例目录，包含了如何使用dbt-clickhouse与ClickHouse交互的示例模型，特别是针对出租车数据集的处理。
tests: 测试目录，存放用于验证插件功能的测试案例。
.flake8, .gitignore, .yamllint: 代码质量检查和版本控制相关的配置文件。
CHANGELOG.md: 更新日志，记录了项目各版本的主要变更。
CONTRIBUTING.md: 贡献者指南，指导如何参与项目贡献，包括环境搭建、测试与提交PR的流程。
LICENSE: 许可证文件，明确软件使用的Apache-2.0许可条款。
Makefile: 提供一些make命令来简化开发流程。
dev_requirements.txt: 开发环境所需Python依赖列表。
mypy.ini, pytest.ini: 静态类型检查和测试框架的配置。
pyproject.toml, setup.py: 定义了项目元数据、依赖项和如何构建此Python包。

2. 项目的启动文件介绍

dbt-clickhouse的运行不直接通过项目内的单一“启动文件”操作，而是通过dbt CLI（命令行界面）执行。在安装完必要的dbt核心以及dbt-clickhouse适配器之后，你的启动步骤通常包括以下几个命令序列：

安装：确保已安装dbt-core及dbt-clickhouse。
```
pip install dbt-core dbt-clickhouse
```
对于dbt-core 1.8.0之前的版本，则应使用：
```
pip install dbt-clickhouse
```
初始化dbt项目：在你的工作目录下创建并初始化一个新的dbt项目。
配置dbt项目：在dbt项目的profiles.yml中添加ClickHouse的相关配置，如数据库地址、用户名和密码等。
运行dbt命令：例如，要编译模型或运行模型，可以使用如下命令：
```
dbt run --target <your_target>
```

3. 项目的配置文件介绍

profiles.yml

关键配置位于dbt项目的profiles.yml文件内，特定于dbt-clickhouse的配置应包含在相应的profile下，示例如下：

my_profile:
  target: dev
  outputs:
    dev:
      type: clickhouse
      host: localhost
      port: 9000
      user: username
      password: password
      database: my_database
      schema: my_schema
      http_port: 8123
      secure: false # 是否使用HTTPS连接
      external_location: '' # 可选，外部数据存储位置

type: 必须设置为clickhouse以指定使用该适配器。
host, port, user, password: 分别指定了ClickHouse服务器的地址、端口及认证信息。
database, schema: 指定数据库名和模式。
其它字段如http_port, secure等按需配置。