Kudu服务频繁挂掉优化记录

1、kudu使用不同步导致服务异常问题
1.重新配置时钟同步，重置时钟：systemctl restart ntpd
2.重启后端监控客户端service cloudera-scm-agent restart

2、kudu服务频繁挂断问题
1-Kudu Tablet Server Maintenance Threads
解释：Kudu后台对数据进行维护操作，如写入数据时的并发线程数，一般设置为4，官网建议的是数据目录的3倍
参数：maintenance_manager_num_threads 48

2-Kudu Tablet Server Block Cache Capacity Tablet
解释：分配给Kudu Tablet Server块缓存的最大内存量，建议是2-4G
参数：block_cache_capacity_mb 24

3-Kudu Tablet Server Hard Memory Limit Kudu
解释：Tablet Server能使用的最大内存量，有多大，设置多大，tablet Server在批量写入数据时并非实时写入磁盘，而是先Cache在内存中，在flush到磁盘。这个值设置过小时，会造成Kudu数据写入性能显著下降。对于写入性能要求比较高的集群，建议设置更大的值（一般是机器内存的百分之80）
参数：memory_limit_hard_bytes 4G180G
备注：报错：Service unavailable: Soft memory limit exceeded (at 96.35% of capacity)
若使用spark-kudu配置：‎KuduContext.socketReadTimeoutMs

memory.soft_limit_in_bytes：Cgroup内存软限制，这个限制并不会阻止进程使用超过限额的内存，只是在系统内存不足时，会优先回收超过限额的进程占用的内存，使之向限定值靠拢,当进程试图占用的内存超过了cgroups的限制，会触发out of memory，导致进程被kill掉
memory.limit_in_bytes：Cgroup内存硬限制，限制该组中的进程使用的物理内存总量不超过设定值