【青梅快讯】Greenplum关键组件版本更新:GPSS 1.6.0和GPCC 6.5已发布

99107bf9-cdb3-41c5-9415-172916e58108.jpg

Greenplum商业版具有众多扩展组件来帮助用户更便捷的使用Greenplum,其中Greenplum监控管理平台GPCC和数据加载解决方案GPSS均是其中关键组件之一,在过去的一个月中,GPSS和GPCC均进行了版本更新,现在让我们带大家了解一下,新版本的GPSS和GPCC都带来了哪些新功能。


GPSS (Greenplum stream server) 1.6.0 发布



GPSS 1.6.0已于5日28日正式发布。Greenplum Stream Server(简称GPSS)是Greenplum下一代数据加载解决方案,能将不同源端的增量数据同步到Greenplum中。


GPSS 1.6.0 新功能


  1. gpss增加-c选项, 用于指定配置文件路径

  2. gpsscli的--version参数也会打印gpss server的版本信息

  3. gpss和gpsscli日志支持--color和--csv格式, 默认为空格分隔的文本格式

  4. gpss的Kafka job配置新增IDLE_DURATION 参数, 当超过IDLE_DURATION 时间后对应的kafka topic中没有新消息, GPSS将会释放目标表的锁

  5. gpss新增SCHEMA_PATH_ON_GPDB 参数, 支持从Greenplum集群的segment节点上获取avro的schema

  6. gpss新增FALLBACK_OFFSET 参数, 可以设置当消息的offset不连续时(未及时加载就被清空)时,从何处继续加载消息

  7. gpss支持基于HTTPS的scheme service服务

  8. gpss支持了kafka的group.id 配置, 可通过第三方工具监控加载进度

  9. 除了exactly once, gpss支持最多一次和最少一次一致性保证

  10. gpss支持通过custom formatter方式实现自定义消息格式


实验功能


  1. gpss新增了RECOVER_FAILING_BATCH 配置, 可以将Greenplum无法处理的事务中的错误数据暂存

  2. gpss组件增加了新的dataflow extension, 包含gp_jsonb数据类型和

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值