用docker-compose编排ELK

 

一、首先安装docker-compose

1.1 从github上下载docker-compose二进制文件安装

下载最新版的docker-compose文件

sudo curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

若是github访问太慢，可以用daocloud下载

sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

1.2 添加可执行权限

sudo chmod +x /usr/local/bin/docker-compose

1.3 测试安装结果

docker-compose --version

 

二、docker-compose安装部署

2.1 创建工作目录

mkdir -p /home/es
mkdir -p /home/es/elasticsearch/config
mkdir -p /home/es/elasticsearch/data
mkdir -p /home/es/elasticsearch/plugins
cd   /home/es/elasticsearch/
chmod 777 config data plugins

2.2 编辑docker-compose文件

docker-compose文件内容如下

vim /home/es/elasticsearch/ docker-compose.yml

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.7.0  #镜像
    container_name: elk_elasticsearch  #定义容器名称
    restart: always  #开机启动，失败也会一直重启
    environment:
      - "cluster.name=elasticsearch-spring" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx1024m" #设置使用jvm内存大小
    volumes:
      - /home/es/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - /home/es/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载                   -/home/es/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml 
    ports:
      - 9200:9200
  kibana:
    image: kibana:7.7.0
    container_name: elk_kibana
    restart: always
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - ELASTICSEARCH_URL=http://elasticsearch:9200 #设置访问elasticsearch的地址
    ports:
      - 5601:5601
  logstash:
    image: logstash:7.7.0
    container_name: elk_logstash
    restart: always
    volumes:
      - /home/es/logstash-springboot.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的配置文件
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    ports:
      - 4560:4560
​
​

2.3 ES的跨域设置

config文件夹下创建 elasticsearch.yml

network.host: 0.0.0.0  #使用的网络
http.cors.enabled: true #跨域配置
http.cors.allow-origin: "*"
#xpack.security.enabled: true  #开启密码配置

2.4 logstash配置

示例：vim /home/es/logstash-springboot.conf

input{
    file{
   path => ["/var/log/nginx/access_json.log"]
#   code => "json"
        type => "shopweb"
    }
}
output{           #输出插件，将事件发送到特定目标
    elasticsearch {            #输出到es
    hosts => ["192.168.117.129:9200"]       #指定es服务的ip加端口
    index => ["%{type}-%{+YYYY.MM.dd}"]     #引用input中的type名称，定义输出的格式
    }
}

具体的logstash配置文件收集数据参照：

logstash简介及基本操作_Super.Mr_Yan的博客-CSDN博客_logstash

2.5 启动docker-compose

1、docker-compose up -d 进行启动

2、启动成功后用docker ps 命令看下容器启动情况

3、设置Elasticsearch密码登录（测试环境下可忽略）

docker exec -it elk_elasticsearch /bin/bash #进入ES容器内部

cd bin

elasticsearch-setup-passwords interactive #执行 设置六个账号密码

依次设置用户：elastic、apm_system、kibana_system、logstash_system、beats_system、remote_monitoring_user共6个用户。

2.6 Kibana汉化，以及设置安全登录

1、docker exec -it elk_kibana /bin/bash # 进入容器内部

2、cd config #进入配置文件夹 因为在启动的时候没有进行文件挂载需要进入到容器内部进行汉化

3、vi kibana.yml 

i18n.locale: "zh-CN"  #汉化
# 此处设置elastic的用户名和密码
elasticsearch.username: elastic
elasticsearch.password: elastic

4、重启 Kibana 、 Elasticsearch

docker restart elk_kibann

docker restart elk_elasticsearch

如果设置了密码，logstash 改一下

上面的配置文件注释的打开即可（填写自己的密码）

kibana的页面配置参照：

kibana的基本使用_码农的进阶之路的博客-CSDN博客_kibana使用