dolphinscheduler运维中遇到的问题

1、配置带kerberos的hive客户端报错

在最下面的jdbc连接参数里配置

{"principal":"hive/_HOST@TEST.COM"}

配了一次就记忆住了,上面哪个principal配置是无效的

2、一个sql节点只能写一条sql且结尾不能写分号

使用sql节点时由于dolohin写了hive的预编译,某些时候变量不能正确传入,比如 location ‘xxxxx变量名’,在预编译过程中会直接变成 location‘xxxxx?’

解决方案: 把sql节点替换成shell节点用hive−e ′...............location‘xxxxx{变量名}’来实现变量传参

3、节点开启非严格模式,从节点偶尔会失效


解决方案: 每个需要动态分区的sql都加上设置非严格模式的前置sql

4、sql节点无法使用hive永久注册的udf


解决方案: 在dolphin资源中心上传udf并创建(会注册成临时udf)

5、sql节点使用 REPLACE函数会有bug,导致任务流无法保存


解决方案: 使用REGEXP_REPLACE函数

6、sql节点添加扩展jar包,无法使用本地路径


解决方案: 需要先上传jar到hdfs,然后加上hdfs://nameservice1/前缀.

7、怎么设置节点不依赖前节点成功与否


解决方案:添加conditions节点,判断条件为前节点成功或失败

8、python3无法指定版本


解决方案:创建python3虚拟环境,进入虚拟环境为前置条件

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值