【dbt】使用seed导入csv文件

在做数据准备时，偶而也会遇到有.csv文件需要读取的情况，dbt提供seed功能读取.csv文件到数据库。读取后的表，可以使用ref()方法引用。

测试环境

• dbt 1.5
• 数据库：Postgres 14

准备测试数据

可以使用自己准备的测试.csv文件。也可以使用 jafgen 包来生成测试数据：

1. 执行pip install jafgen 命令安装jafgen。
2. 安装完成后，执行 jafgen --years 1 会在当前目录下的jaffle-data目录生成一年的测试数据，包括：
   • raw_customers.csv 客户ID和名称
   • raw_items.csv 商品SKU和order_id关联
   • raw_orders.csv 订单时间、门店ID、总额等
   • raw_products.csv 产品价格和描述
   • raw_stores.csv 门店信息
   • raw_supplies.csv 供应信息
3. 将 jaffle-data 目录及文件 copy 到 <dbt-project>/seeds/ 目录下。

直接导入数据库

直接执行dbt seed -s raw_items ，会将 raw_items.csv 中的数据导入到在profiles.yml配置中的默认schema。9.5w行数据导入，大约需要50秒左右。
dbt的特性是不允许跨数据库的，但可以用加后缀的方式，来指定不同的schema。

指定schema

修改 dbt-project.yml 配置，可以将用加后缀的方式，将 .csv 导入到指定的 schema。
比如我的profiles.yml 中配置了 schema: test ，即默认schema 是 test。

在 dbt-project.yml 添加以下配置，可以将数据导入到 test_sed 的场景中，其中：
* my_test_dbt 是项目名称
* jaffle-data 是 seeds目录下的 jaffle-data 目录，即 seed 的路径
* +schema: sed ：在默认场景名后面，增加后缀 sed

# dbt-project.yml

seeds:
  my_test_dbt:
    jaffle-data:
      +schema: sed

指定字段类型

dbt会提供默认的字段类型，也可以在dbt-project.yml 中还可以配置指定类型。

• raw_items，模型名称
• +column_types，指定字段类型，id、order_id、sku是字段名称。
  注意：如果 raw_items 表已存在，需要先删除表再重新执行 dbt run -s raw_items 才能生效，直接执行不会修改字段类型。

# dbt-project.yml

seeds:
  my_test_dbt:
    jaffle-data:
      +schema: sed
      raw_items:
        +column_types:
          id: varchar(36)
          order_id: varchar(36)
          sku: varchar(36)

参考

• dbt官方文档