ELK性能优化

上一篇文章中，我把logstash和ES部署到同一台机器中，遇到的问题是，logstash进程经常不工作（cpu消耗为0），或者干脆退出，通过增加、减少logstash进程数，线程数，堆栈大小，batch_size大小，logstash都不能正常工作。

通过设置ulimit -c unlimited，得到崩溃后的core文件，能看出是系统内存不够所致。后来发现kafka集群中的3台机器负载很低，将logstash部署到这3台机器上，每台机器启动4个进程，每个进程开启4个线程读取kafka。ES集群的2台机器不再运行其他服务。目前整个系统运行稳定。

另一个问题是，logstash从kafka取出数据放到ES中的速度一直上不去【每秒2万条记录不到】，ES集群的负载也挺低，通过增大logstash的启动参数-b -w的值，同时增大配置文件flush_size和idle_flush_time的值，速度有了较大的提升，可以达到每秒4万条记录。

其他tips:ES的ES_HEAP_SIZE不要超过系统可用内存的一半，机器充足的情况下，使用3个专用master节点。