logstash 吞吐量优化_1002-谈谈ELK日志分析平台的性能优化理念

在生产环境中，我们为了更好的服务于业务，通常会通过优化的手段来实现服务对外的性能最大化，节省系统性能开支；关注我的朋友们都知道，前段时间一直在搞ELK，同时也记录在了个人的博客篇章中，从部署到各个服务应用的采集都做了详细的介绍，但是并没有关于ELK方面的优化，那么，我们对于这些日志分析平台，我们如何去优化呢？优化的手段又有哪些呢？下面请听我娓娓道来~

【ES优化】

ES在前面的部署环节(https://www.cnblogs.com/bixiaoyu/p/9460554.html)已经简单了提到调优，但是不全；Elasticsearch作为数据持久化存储环节，主要就是接受采集端发送过来的数据，执行写磁盘，建立索引库，最后将结构化的数据存储到ES集群上，这是ES所需要完成的工作

1.1:JVM内存的优化

首先我们需要了解什么是jvm内存？作用是什么？

jvm内存其实就是java内存堆，也是jvm需要管理的最大的一块内存空间，主要就是存放各种类型的实例对象；在java中，堆的概念被划分为，新生代和老年代，这样更有利于jvm管理内存堆中的对象，分配和回收

我们设置堆内存主要就是创建实例对象，让所有对象实例和数据都在堆上进程分配，可以动态的分配内存大小；

-Xms1g     #设置堆最小的内存

-Xmx1g    #设置堆最大的内存

如何设置最合理呢？

首先我们要知道堆内存设置的越大，ES可用的堆就越大，同时呢，可用的缓存空间就越大，但是不能无限大，因为这样会浪费大量的内存，太多的堆内存可能会系统垃圾回收机制异常；

优化准则：

将最小堆(xms)和最大堆(xmx)设置为相同值即可，这样可以防止内存堆运行的有所变动；

内存堆的值不要超过系统物理内存的50%(可以等于实际物理内存的一半)，以确保有足够的物理内存给内核文件系统使用；

ES堆内存大小为什么不能超过物理 内存的50%？

除了堆内存设置过大会造成资源浪费之后，还有一个原因，

堆内存对于ES来说是个不可缺少的部分，能够对提高数据的执行效率，还有一个内存使用者，那就是是-lucene

Lucene是一个开源的全文检索引擎工具 ，而我们的ES底层是基于Lucene来实现的丰富的检索功能；Lucene的性能依赖于操作系统之间的交互，如何说我们把可用的内存都给了ES的话，那么Lucene还有剩余的内存空间吗？这将会严重的影响性能；因此，我们最多只能将50%的可用内存资源分配给ES堆内存，剩下的50%留给Lucene了

ps：这里注意一下，我们的Luceen使用的是物理内存剩余的50%&