淡定一生2333的博客

1. dbt在获取元数据信息的时候，底层使用pyHive的时候database信息没有传进去，pyHive默认又是会设置database='default'，如果没有default库权限的，这个时候就会抛出Access异常。3. 使用persist_doc功能(给表和字段增加注释信息)，发现对GP生效，但是对spark不生效。2. PYTHON虚拟环境，debain 和 centos 是不兼容的，得重新打包，害...当然这是由于我对python虚拟环境的不熟悉，不能算是dbt的问题。

总结下dbt-spark踩到的坑，连接方式采用的是thrift连接 + Kerberos认证。考虑到开源组件Kyuubi也是基于Hiveserver2，使用的thrift协议，所以采用Kyuubi执行SparkSQL。

这个其实很dbt生成sql的方式有关。DBT的好处是显而易见的，它支持连接多达41种数据库。,当前主流的Hive版本都是1.x 和 2.x，3.x都很少见到，哭死...anyway，还是希望DBT发展的越来越好吧，hhh。