kudu数据刷新策略

这里写图片描述

AUTO_FLUSH_SYNC(默认):
所有的写入都只有在自动刷新到服务器后才会返回。不会发生批处理,在这种模式下,Flush()函数不会产生任何效果,因为每个应用程序在返回之前已经刷新了缓冲区。

AUTO_FLUSH_BACKGROUND:
每一个应用的KuduSession.apply()函数都会返回的非常快,但是写操作会被发送到后台进程,可能与来自同一会话的其他写入一起进行批处理。如果没有足够的缓冲空间,KuduSession.apply()会阻塞,缓冲空间不可用。因为写入操作是在后台应用进行的的,因此任何错误都将存储在一个会话本地缓冲区中。注意:这个模式可能会导致数据插入是乱序的,这是因为在这种模式下,多个写操作可以并发地发送到服务器。
从官方说明,还是一个bug,https://issues.apache.org/jira/browse/KUDU-1767https://issues.apache.org/jira/browse/KUDU-1767

MANUAL_FLUSH:
每一个应用的KuduSession.apply()函数都会返回的非常快,但是写操作不会发送,直到用户使用flush()函数,如果缓冲区超过了配置的空间限制,KuduSession.apply()函数会返回一个错误。

参数:
这里写图片描述

这里写图片描述

实际:
根据参数的大小。可以产生不同的效率。(测试中,使用手动刷新后,性能提升了100倍)
AUTO_FLUSH_SYNC is start!
AUTO_FLUSH_SYNC花费毫秒数: 202098
AUTO_FLUSH_BACKGROUND is start!
AUTO_FLUSH_BACKGROUND花费毫秒数: 3444
MANUAL_FLUSH is start!
MANUAL_FLUSH花费毫秒数: 4564

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kudu是一个分布式的列式存储系统,它可以存储和管理海量的结构化数据。在使用Kudu时,备份和恢复数据是非常重要的,下面介绍一些Kudu数据备份和恢复的方法。 备份数据: 1. 使用Kudu自带的工具:Kudu提供了一个备份工具kudu backup,可以将Kudu表备份到HDFS或本地磁盘中。备份命令如下: ``` kudu backup create <backup_location> <table_name> ``` 其中,backup_location是备份文件存放的位置,table_name是要备份的表名。 2. 使用Hadoop的Distcp命令进行备份:可以使用Hadoop的Distcp命令将Kudu表备份到另一个Hadoop集群中。备份命令如下: ``` hadoop distcp <source_path> <destination_path> ``` 其中,source_path是要备份的Kudu表路径,destination_path是备份文件存放的位置。 3. 使用第三方工具进行备份:还可以使用一些第三方工具进行备份,比如Cloudera Manager、Apache Ranger等。 恢复数据: 1. 使用Kudu自带的工具:Kudu提供了一个恢复工具kudu restore,可以将备份的Kudu表恢复到原有的Kudu集群中。恢复命令如下: ``` kudu restore <backup_location> ``` 其中,backup_location是备份文件存放的位置。 2. 使用Hadoop的Distcp命令进行恢复:可以使用Hadoop的Distcp命令将备份文件恢复到Kudu集群所在的Hadoop集群中。恢复命令如下: ``` hadoop distcp <source_path> <destination_path> ``` 其中,source_path是备份文件路径,destination_path是要恢复的Kudu表路径。 3. 使用第三方工具进行恢复:还可以使用一些第三方工具进行恢复,比如Cloudera Manager、Apache Ranger等。 需要注意的是,在进行备份和恢复操作时,需要确保Kudu集群和备份文件所在的Hadoop集群之间网络的连接稳定,否则可能会导致备份和恢复失败。同时,备份和恢复的时间也可能会比较长,需要耐心等待。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值