ELK性能优化

上一篇文章中,我把logstash和ES部署到同一台机器中,遇到的问题是,logstash进程经常不工作(cpu消耗为0),或者干脆退出,通过增加、减少logstash进程数,线程数,堆栈大小,batch_size大小,logstash都不能正常工作。


通过设置ulimit -c unlimited,得到崩溃后的core文件,能看出是系统内存不够所致。后来发现kafka集群中的3台机器负载很低,将logstash部署到这3台机器上,每台机器启动4个进程,每个进程开启4个线程读取kafka。ES集群的2台机器不再运行其他服务。目前整个系统运行稳定。


另一个问题是,logstash从kafka取出数据放到ES中的速度一直上不去【每秒2万条记录不到】,ES集群的负载也挺低,通过增大logstash的启动参数-b -w的值,同时增大配置文件flush_size和idle_flush_time的值,速度有了较大的提升,可以达到每秒4万条记录。


其他tips:ES的ES_HEAP_SIZE不要超过系统可用内存的一半,机器充足的情况下,使用3个专用master节点。
阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页