Docker安装配置使用ELK三件套ElasticSearch,ElasticSearch-Head,Kibana 7.x版本

安装前工作

如果用的是买的服务器，记得先去将端口放行
要放行的端口有
9200(ElasticSearch)
9100(ElasticSearch-head)
5601(Kibana)

开始安装elasticsearch

楼主安装的是7.6.1版本的，你们按照自己需求安装，应该也差不多。但是要注意安装的kibana要和elasticsearch的版本一样

1.查找镜像

docker search elasticsearch

2.下载镜像

docker pull elasticsearch:7.6.1

下载完后查看镜像

docker images

3.配置外部映射文件

#创建目录
mkdir /home/elasticsearch
#编辑新建 elasticsearch.yml文件
vim  /home/elasticsearch/elasticsearch.yml

配置内容如下

cluster.name: "docker-cluster"
network.host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"

保存退出！

4.启动镜像映射外部配置文件

命令解释
-e “ES_JAVA_OPTS=-Xms256m -Xmx256m”（修改运行内存）默认是1g运存，内存大的不用改，按实际配置需求改

docker run -d  -e "ES_JAVA_OPTS=-Xms256m -Xmx256m" --name es8  -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -v /home/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml 41072cdeebc5

启动后去浏览器访问

IP:9200

这就成功安装ElasticSearch了

安装ElasticSearch-Head

1.拉取镜像

docker pull mobz/elasticsearch-head:5

2. 启动

docker run -it --name="es-head" -p 9100:9100 mobz/elasticsearch-head 

3. 查看是否启动成功

4. 浏览器访问,跨域问题在前面就解决了所有可以直接访问

IP:9100

安装Kibana

再次强调，kibana需要和ElasticSearch版本一致

1. 拉取镜像

docker pull kibana:7.6.1

2. 配置外部映射文件

mkdir /home/kibana
mkdir /home/kibana/config
vim /home/kibana/config/kibana.yml

文件内容如下

server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://IP:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true

这里IP换成你自己的ip
否则你访问的kibana页面可能会出现
Kibana server is not ready yet

3. 运行镜像

docker run --name kibana  -p 5601:5601 -d -v /home/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.6.1

4. 浏览器访问

IP:5601

看到这个加载就说明安装成功了，等他加载好就有界面了

安装logstash并同步mysql数据到ES

注意: 安装版本也需要和es一致

1.拉取镜像

docker pull logstash:7.6.1

2.配置外部映射

mkdir /home/logstash
mkdir /home/logstash
vim /home/logstash/logstashsql.conf

logstashsql.conf文件内容如下

需要改动位置:

mysql连接配置
mysql连接jar包位置
查询语句
es配置
同步之前需要将es中对应索引建好
mysql中建好对应的库和表

input {
jdbc {
        #数据库配置
        jdbc_connection_string => "jdbc:mysql://localhost:3306/mybatis?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone = GMT"
        jdbc_user => "root"
        jdbc_password => "1234"
        #驱动包
        jdbc_driver_library => "/home/mysql-connector-java-8.0.20.jar"
        jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        schedule => "* * * * *"
        #sql语句
		statement => "SELECT * from student"
        type => "jdbc"
    }
}
 
filter {
    json {
        source => "message"
        remove_field => ["message"]
}
    #过滤字段
	mutate {
		remove_field => ["@version","@timestamp"]
    }
}
 
output {
    #es配置
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "demo"
        document_type => "_doc"
        #以数据库的哪个字段作为es的id
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

下载mysql驱动

mysql-connector-java-8.0.20.jar

下载连接
上传工具上传到刚刚建好的目录下

/home/logstash

3. 运行镜像

docker run -d -e "ES_JAVA_OPTS=-Xms256m -Xmx256m" -v /home/logstash/logstashsql.conf:/usr/share/logstash/logstashsql.conf  -v /home/logstash/mysql-connector-java-8.0.20.jar:/home/mysql-connector-java-8.0.20.jar --name=logstash  logstash:7.6.1  
-f /usr/share/logstash/logstashsql.conf

OJBK