搭建ELK日志系统(elasticsearch-5.4.3 kibana-5.4.3-linux-x86_64 logstash-5.4.3)

流程图

在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

一：安装java运行环境

1： 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2： cd /usr/local/src

3: 下载64位操作的java的运行环境 ： wget  http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f390dda5b47b9b721c7dfaa008135/jdk-8u144-linux-x64.tar.gz

4: 解压 tar  -zxvf  jdk-8u144-linux-x64.tar.gz

5: 添加java的全局变量(编辑全局变量)

vim /etc/profile

JAVA_HOME=/usr/local/src/jdk1.8.0_144

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

6： 全局变量生效

source /etc/profile   

7： 查看java的版本

java -version

8： 提示

openjdk version "1.8.0_144"

OpenJDK Runtime Environment (build 1.8.0_144-b14)

OpenJDK 64-Bit Server VM (build 25.102-b14, mixed mode)

二：安装elasticsearch

1.https://www.elastic.co/downloads/past-releases   下载相应版本elasticsearch

解压 tar -zxvf elasticsearch-5.4.3.tar.gz

2.修改config文件夹下的elasticsearch.yml配置文件

cluster.name: my-application

node.name: node-1

network.host: 0.0.0.0

http.port: 9200

Elasticsearch安装成功

三.  安装logstash

1.https://www.elastic.co/downloads/past-releases   下载相应版本logstash

解压 tar -zxvf logstash-5.4.3.tar.gz

设置环境变量

2.sudo vim /etc/profile添加

export PATH=$PATH:/home/zp/dowmload/logstash-5.4.3/bin

source /etc/profile

3. logstash常用参数 (1)-e :指定logstash的配置信息，可以用于快速测试;(2)-f :指定logstash的配置文件；可以用于生产环境;

测试启动logstash

logstash -e "input {stdin{}} output {stdout{}}"

logstash 测试成功

4. 将logstash redis elasticsearch结合

Redis的安装很多,就不写了

进入logstash-5.4.3文件下创建conf目录,创建配置文件logstash-redis.conf

Vi logstash-redis.conf

input{
        redis {
                host => "127.0.0.1"
                data_type => "list"  //redis数据类型
                port => 6379
                key => "logstash:redis"   //队列key名
                type => "redis-input"
        }
}
output {
        stdout{}
        elasticsearch {
                hosts => "127.0.0.1:9200"   //这里可以是个数组
                codec => "json"   //json格式输出
        }
}

运行logstash -f logstash-redis.conf

运行成功接着测试一下,打开redis-cli,往队列中插入数据

LPUSH logstash:redis test

测试成功,此时只要向redis中队列名称为logstash:redis中写入日志就可以继而被写入elasticsearch

五：安装kibana

1. https://www.elastic.co/downloads/past-releases   下载相应版本kibana

2. 解压  tar -zxvf kibana-5.4.3-linux-x86_64.tar.gz

3. 修改config下的配置文件kibana.yml

server.host: 0.0.0.0

elasticsearch.url: "http://localhost:9200"

4. 启动kibana

/bin/kibana

启动成功  访问http://192.168.1.36:5601

安装成功,接着我们测试一条数据,继续像redis中写入一条数据

写入成功