GBase 8a优化加载的参数相关配置

在GBase 8a中有多种方式优化加载,本章节讲解的参数可以很好的优化加载性能。

提升加载性能参数

gcluster_loader_max_data_processors

gcluster_loader_max_data_processors 为单个数据加载任务中最大加载机的个数,默认取值为 16。通常建议 gcluster_loader_max_data_processors 取值为 4~8。在使用 sftp 加载时,需要特别关注 ssh 连接个数限制,可能因为加载需要连接 sftp的加载机个数太多造成超过 ssh 允许的最大连接数而导致加载失败问题。可以调整sshd 的配置文件,调整 maxstartup、maxsession 等参数。

加载任务负载均衡设置

gcluster_load_rebalance_seed

gcluster_load_rebalance_seed 参数表示不同 data 节点上的加载任务数最大差值大于等于参数值时会启动 node 加载任务负载均衡,默认值为 5。如果取得更好的均衡效果,可以将参数 gcluster_load_rebalance_seed 设置为 2 或者 1。集群每个加载任务会随机选取不超过 gcluster_loader_max_data_processors 个data 节点作为加载机。在 gcluster_load_rebalance_seed 取默认值 5 的情况下,如果并发了 5 加载任务,都随机选取第 10 个节点作为加载机。此时第 10 个 data节点上 load 任务数为 5,同时也存在部分节点上 load 任务数为 0,data 节点间最大任务数之差为 5。当第 6 个加载下发时,根据 gcluster_load_rebalance_seed参数条件,不再选取第 10 个节点作为加载机,而是选取加载任务差值小于 5 的节点作为加载机。

加载单行最大长度设置

gbase_loader_max_line_length

gbase_loader_max_line_length 参数用于指定数据加载文件中允许的单行的最大长度,默认为 4M。GBase 8a 集群能够加载的最大的数据行长度为 4M,当待加载的数据文件中存在超过 4M 大小的行时,加载任务将失败并报错“Line length xxxx is more thangbase_loader_max_line_length(4194304)”,通过调整gbase_loader_max_line_length 参数为更大取值,可以让加载任务执行成功,超过 4M 大小的行则作为错误数据跳过。

加载读超时时间参数设置

gbase_loader_read_timeout

gbase_loader_read_timeout 参数用于指定读取 FTP/HTTP/SFTP 文件的超时时间,如果填充一个数据块(8M)的时间超过此参数值,加载任务将报错停止。0表示永不超时。默认取值为 300 秒。在较差网络环境下可调大概参数,避免出现 read operation timeout 超时错误。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值