centos用docker-compose安装ELK

ELK即Elasticsearch、Logstash、Kibana,组合起来可以搭建线上日志系统，在目前这种分布式微服务系统中，通过ELK 会非常方便的查询和统计日志情况.

ELK中各个服务的作用

• Elasticsearch:用于存储收集到的日志信息；
• Logstash:用于收集日志，应用整合了Logstash以后会把日志发送给Logstash,Logstash再把日志转发给Elasticsearch；
• Kibana:通过Web端的可视化界面来查看日志。

一、使用Docker Compose 搭建ELK环境

1、编写docker-compose.yml

version: '3'
services:
  elasticsearch:
    image: elasticsearch:6.4.0
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
    volumes:
      - /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - /mydata/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
    ports:
      - 9200:9200
  kibana:
    image: kibana:6.4.0
    container_name: kibana
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
    ports:
      - 5601:5601
  logstash:
    image: logstash:6.4.0
    container_name: logstash
    volumes:
      - /mydata/logstash/demo-logstash.conf:/usr/share/logstash/pipeline/logstash.conf 
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    ports:
      - 4560:4560

2、创建对应容器的挂在目录

mkdir -p /mydata/logstash

mkdir -p /mydata/elasticsearch/data

mkdir -p /mydata/elasticsearch/plugins


chmod 777 /mydata/elasticsearch/data  # 给777权限，不然启动elasticsearch 可能会有权限问题

3、编写日志采集logstash

在 /mydata/logstash目录创建 demo-logstash.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "demo-logstash-%{+YYYY.MM.dd}"
  }
}

同时采集多个模块日志（暂时不必配置）

input {
  tcp {
   add_field => {"service" => "demo"}
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
  tcp {
   add_field => {"service" => "test"}
    mode => "server"
    host => "0.0.0.0"
    port => 4561
    codec => json_lines
  }
}
output {
   if [service] == "demo"{
    elasticsearch {
      hosts => "es:9200"
      index => "upms-logstash-%{+YYYY.MM.dd}"
    }
   }
  if [service] == "test"{
    elasticsearch {
      hosts => "es:9200"
      index => "auth-logstash-%{+YYYY.MM.dd}"
    }
   }
}

4、启动ELK服务

在docker-compose.yml 同级目录执行 docker-compose up -d

注意：Elasticsearch启动可能需要好几分钟，要耐心等待。

logstash 安装json_lines 格式插件

# 进入logstash容器
docker exec -it logstash /bin/bash
# 进入bin目录
cd /bin/
# 安装插件
logstash-plugin install logstash-codec-json_lines
# 退出容器
exit
# 重启logstash服务
docker restart logstash

二、java整合Logstash

1、添加pom 依赖

<!--集成logstash-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

2、logback-spring.xml 新增appender

 <!--输出到logstash的appender.4560端口号是logstash的端口-->
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <!--可以访问的logstash日志收集端口-->
    <destination>192.168.0.110:4560</destination>
    <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<root level="INFO">
    <appender-ref ref="LOGSTASH"/>
</root>

4560端口号是logstash的端口

启动pigx 在kibana中查询日志

选中保存即可

三、安装ElasticSearch-head

参考：Elasticsearch-head插件使用小结 - 那年故乡的明月 - 博客园

docker pull mobz/elasticsearch-head:5

docker run -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5

在浏览器中打开elasticsearch-head页面，填入ElasticSearch地址

解决docker创建的elasticsearch-head容器不能连接elasticsearch等问题

参考：解决docker创建的elasticsearch-head容器不能连接elasticsearch等问题 - 资深小青年 - 博客园

1.不能连接elasticsearch

修改elasticsearch.yml文件 添加如下两个配置

http.cors.enabled: true
http.cors.allow-origin: "*"

2.连接上了elasticsearch,但是使用其他的操作发现浏览器会报406

这是因为在elasticsearch-head容器中返回的数据格式不对

进入容器

docker exec -it 容器名 /bin/bash

cd _site/

​

vim vendor.js

apt-get update

apt-get install -y vim

如果发现不能使用vi/vim,就在容器内部先进行安装,分别执行如下两条命令

安装完成之后

修改vendor.js两处配置

第一处在6886行

把内容'application/x-www-form-urlencoded'改成'application/json;charset=UTF-8'

 ​

第二处在 7573行

把内容'application/x-www-form-urlencoded'改成'application/json;charset=UTF-8'

​

然后可以正常使用了

​

四、elk与时间场景差8小时

1、修改demo-logstash.conf，增加以下内容

filter{
 ruby {
   code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
 }
 ruby {
   code => "event.set('@timestamp',event.get('timestamp'))"
 }
 mutate {
   remove_field => ["timestamp"]
 }
}

2、在kibana中

​

 ​

 即可