kudu参数优化设置,让集群飞起来~,2021年Python开发陷入饱和

本文探讨了Kudu参数的优化设置,包括副本数、故障恢复时间和历史数据清理等,以提升集群性能。同时,注意到2021年Python开发市场的饱和状态,强调了Python在多个领域的广泛应用,并分享了Python学习路线、开发工具和大厂面试真题,帮助开发者规划学习路径和职业发展。
摘要由CSDN通过智能技术生成

参数:Maximum Process File Descriptors

5.参数设置了每个Tablet的默认复制因子,默认值为3,表示每个表的数据会在Kudu中存储3份副本。

我们可以根据需要修改这个全局默认值,也可以在建表语句中通过’kudu.num_tablet_replicas’属性来设置每个表的副本数,

参数:kudu.num_tablet_replicas=1

6.tserver宕掉后,5分钟后没有恢复的情况下,该机器上的tablet会移动到其他机器

参数:–follower_unavailable_considered_failed_sec=300

7.超过参数时间的历史数据会被清理,如果是base数据不会被清理。而真实运行时数据大小持续累加,没有被清理。

参数:–tablet_history_max_age_sec=900

8.hash分区数量 * range分区数量不能超过60个(1.7.0版本之后没限制了)

9.设置block的管理器为文件管理器(默认是日志服务器)

解释:并非所有文件系统格式都需要设置该选项。ext4、xfs格式支持hole punching(打孔),所以不需要设置block_manager=file,但是ext3 格式需要。可以通过df -Th命令来查看文件系统的格式。

参数:–block_manager=file

10.设置ntp服务器的时间误差不超过20s(默认是10s)

参数:max_clock_sync_error_usec=20000000

11.设置rpc的连接时长(默认是3sÿ

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值