2. Logstash 安装部署

1. Logstash 工作原理

2.安装前JAVA环境提前部署好（java 部署安装请参考 Elasticsearch 安装部署）

3.下载logshtash 安装包

cd logstash-6.4.0 bin/logstash -e 'input {stdin {}} output {stdout {}}'

4. Logstash 进程启动说明

./logstash -f ../config/logstashsc.conf & #logstash 进程启动

./logstash -f ../config/network.conf --config.reload.automatic &自动加载进程

 

5.配置讲解说明

Logstash adds timestamp and IP address information to the message. Exit Logstash by issuing a CTRL-D command in the shell where Logstash is running.

Congratulations! You’ve created and run a basic Logstash pipeline. Next, you learn how to create a more realistic pipeline.

https://www.elastic.co/guide/en/logstash/6.4/config-setting-files.html # 配置讲解

 

目录文件说明

                     https://www.elastic.co/guide/en/logstash/6.2/dir-layout.html

 

           配置讲解

                     https://www.elastic.co/guide/en/logstash/6.2/logstash-settings-file.html

6. Logstash 性能调优

检查jvm堆

1）、如果堆大小过低，CPU利用率通常会通过屋顶，从而导致JVM不断地进行垃圾收集。

 

2）、快速检查这个问题的方法是将堆大小增加一倍，看看性能是否有所改善。不要将堆大小增加到物理内存的数量。至少为操作系统和其他进程留出1 GB的空间。

 

3）、使用专门的工具对jvm进行精确的监控

 

4）、一定要确保将最小（Xms）和最大值（Xmx）堆分配大小设置为相同的值，以防止堆在运行时调整大小，这是一个非常昂贵的过程（我使用yum安装之后的值就不相等，再加上分配的内存过小，导致CPU一致非常的高）。

 

     logstash.yml  修改 pipeline.workers，根据CPU核数增加1到2即可

      jvm.options          修改 xms和xmx为相同，一般是系统内存三份之二