1. Logstash 工作原理
2.安装前JAVA环境提前部署好(java 部署安装请参考 Elasticsearch 安装部署)
3.下载logshtash 安装包
cd logstash-6.4.0 bin/logstash -e 'input {stdin {}} output {stdout {}}'
4. Logstash 进程启动说明
./logstash -f ../config/logstashsc.conf & #logstash 进程启动
./logstash -f ../config/network.conf --config.reload.automatic &自动加载进程
5.配置讲解说明
Logstash adds timestamp and IP address information to the message. Exit Logstash by issuing a CTRL-D command in the shell where Logstash is running.
Congratulations! You’ve created and run a basic Logstash pipeline. Next, you learn how to create a more realistic pipeline.
https://www.elastic.co/guide/en/logstash/6.4/config-setting-files.html # 配置讲解
目录文件说明
https://www.elastic.co/guide/en/logstash/6.2/dir-layout.html
配置讲解
https://www.elastic.co/guide/en/logstash/6.2/logstash-settings-file.html
6. Logstash 性能调优
检查jvm堆
1)、如果堆大小过低,CPU利用率通常会通过屋顶,从而导致JVM不断地进行垃圾收集。
2)、快速检查这个问题的方法是将堆大小增加一倍,看看性能是否有所改善。不要将堆大小增加到物理内存的数量。至少为操作系统和其他进程留出1 GB的空间。
3)、使用专门的工具对jvm进行精确的监控
4)、一定要确保将最小(Xms)和最大值(Xmx)堆分配大小设置为相同的值,以防止堆在运行时调整大小,这是一个非常昂贵的过程(我使用yum安装之后的值就不相等,再加上分配的内存过小,导致CPU一致非常的高)。
logstash.yml 修改 pipeline.workers,根据CPU核数增加1到2即可
jvm.options 修改 xms和xmx为相同,一般是系统内存三份之二