系统增加对hiveserver的负载均衡及单个server挂掉的保障

前期,dip-data-analyze 实现了线上的基本功能,这段时间,随着本部门及其他部门在上面跑任务增多,对hiveserver使用并发要求越来越高。


之前碰到过很多次 hiveserver发生stackoverflow问题,发生该问题后,hiveserver就会很快失效,表现是进程在,端口通,但是不再接受任务。


原因是hiveserver设置方法栈较低,之前-Xss=128k,上周五更新为512k ,到今天已经连续运行一周,目前系统稳定。


同时为了保障hiveserver挂掉或失效情况下,dip-data-analyze照样能正常运行,增加了负载均衡及转发任务及黑名单机制。逻辑图:




目前系统性能上存在一个问题就是 resin  jvm 内存使用上 。现在设置最大堆内存3.8g,新生代2g,gc使用cms,年老代 在45%时gc,然后预估上限值 预估下线 分别为45% 30%。使用 linux top -M 观察 系统在运行2小时后 会从百兆级迅速增长到4g甚至以上。但是使用jmap -heap 或者 jmap -histo 等查看,堆一般使用在800m左右,多时到1.5g。


表名 jvm在任务过来后,分配内存给新对象,同时gc,但是 并没有 和 预估上限值 预估下线 分别为45% 30%设定的那样去收缩已分配内存,虽然已经gc掉.


欢迎朋友们 讨论 :)


评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值