LogStash新的Java执行引擎已经进入了待发布阶段了。他的主要特性有:
更少的内存使用
更高的性能
更少的启动配置信息
更快的配置重载时间
现在可以在LogStash6.3.0 版本使用 --experimental-java-execution 来尝鲜。
下面是性能测试的对比,来看看用JRuby执行器和Java执行器的性能差多远
从上述图表我们可以得出如下几个结论:
如果是6.1以上版本的LogStash,请启用Java执行器,能获得更高的性能
6.3版本的LogStash性能比6.1的要好,所以,请升级到最新的版本
Java执行引擎的性能提升原因有如下两个:
第一:使用了全新的配置解析和字节码生成技术。原始的Ruby执行引擎使用TeeTopp读取配置,然后把配置转换为Ruby源代码,再交给JRuby解析和执行。而Java执行引擎将Ruby源码生成阶段换成了Janio直接编译成JVM字节码了。所以性能得到了大幅的改善
第二:由于Ruby的动态语言特性,导致JRuby代码到Java代码调用的时候是有较大的性能开销的,在一些性能敏感的环境下这不是一个好的选择。这也是为什么编译为JVM字节码后会获得更好的性能
Java执行引擎退出后,还会有LogStash Java 插件,终于不用写Ruby插件了....
接下来是尝鲜时间,我们简单的对比一下一个普通的输入和输出,用JRuby执行引擎和Java执行引擎占用的内存差多少(咦?人家说的是执行性能更好,好像也没说占用内存更少的样子咧,这样测试真的好么)
首先用最简单的方法启动一下LogStash(为了避免影响,用的全是默认配置,什么都没改动),JRuby引擎
./logstash -e 'input { stdin { } } output { stdout {} }'
启动的那个慢,启动了20秒...真是不忍直视,话说就启动个标准输入和输出,就683.4M真的好么
接下来换新的Java执行引擎看看会不会飞,第一次启动,喵喵喵?19s....启动也没快多少嘛,哈哈哈,676.9M...少年你真的不是和我开玩笑么。
总的来说,虽然有了新的Java执行引擎,吞吐量虽然是上去了,但是资源占用还是不忍直视,客户端部署依然不推荐使用LogStash,还是用Beats吧,什么?AIX环境?少年我有资源占用率130M左右的ReCollector啊,Java编写,性能稳定,资源占用量少(别别...等我说完再把我拖走.....)