kettle使用gpfdist加载数据报错解决方法

1.gpfdist的使用
gpfdist可以实现并行加载,需要先启动gpfdist进程及监听端口,这个命令在Master和Segment节点的GPHOME/bin目录下,如果配置了GP的环境变量,可以直接使用,如果在没有安装GP的服务器上使用gpfdist工具,只需要将gpfdist命令的文件拷贝到相应的服务器上即可使用。
2.启动gpfdist服务
nohup /home/gpadmin/greenplum-db/bin/gpfdist -d /root/gp/data/ -p 8889 > /root/gp/log/gpfdist.log 2>&1 &

nohup /opt/greenplum-db/bin/gpfdist -d /root/gp/data/ -m 268435456 -p 8889 > /root/gp/log/gpfdist.log 2>&1 &
在这里插入图片描述
在gpfdist下,即可以使用主机名,也可以使用IP。后面的文件路径不能使用绝对路径,因为gpfdist启动时候指定了扫描路径为/root
3.创建外部表
在这里插入图片描述
4.执行kettle调度命令
加载报错,报错信息如下:
在这里插入图片描述
-m参数的值默认是32K,最大为256M,这里设置为最大268435456 bytes(256M)
修改gpfdist启动服务命令:
nohup /opt/greenplum-db/bin/gpfdist -d /root/gp/data/ -m 268435456 -p 8889 > /root/gp/log/gpfdist.log 2>&1 &
在这里插入图片描述
5.再次调度kettle命令
问题解决:
在这里插入图片描述

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值