使用Docker快速部署ELK环境（最新5.5.1版本）

最新推荐文章于 2024-05-29 09:00:00 发布
最新推荐文章于 2024-05-29 09:00:00 发布
阅读量608 收藏
点赞数
分类专栏： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32440951/article/details/83905123
版权

在Linux服务器上安装Docker以后，Pull相关的官方Docker镜像：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker pull docker
     
     .elastic
     
     .co/elasticsearch/elasticsearch:
     
     5.5
     
     .1
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker pull docker
     
     .elastic
     
     .co/kibana/kibana:
     
     5.5
     
     .1
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker pull docker
     
     .elastic
     
     .co/logstash/logstash:
     
     5.5
     
     .1

启动Elastic Search容器:


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker run 
     
     -p 
     
     9200:
     
     9200 
     
     -e 
     
     "http.host=0.0.0.0" 
     
     -e 
     
     "transport.host=127.0.0.1" 
     
     \
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     --name 
     
     my
     
     -elastic 
     
     -d docker
     
     .elastic
     
     .co/elasticsearch/elasticsearch:
     
     5.5
     
     .1

启动Kibana容器：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker run 
     
     -p 
     
     5601:
     
     5601 
     
     -e 
     
     "ELASTICSEARCH_URL=http://localhost:9200" 
     
     --name 
     
     my
     
     -kibana 
     
     \
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     --network host 
     
     -d docker
     
     .elastic
     
     .co/kibana/kibana:
     
     5.5
     
     .1

创建logstash/logstash.yml，配置xpack对于logstash的监控：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     http.host: 
     
     "0.0.0.0"
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     path.config: 
     
     /usr/share/logstash/pipeline
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     xpack.monitoring.elasticsearch.url: 
     
     http://localhost:9200
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     xpack.monitoring.elasticsearch.username: 
     
     elastic
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     xpack.monitoring.elasticsearch.password: 
     
     changeme

创建logstash/conf.d/logstash.conf，配置logstash的输入输出：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     input {
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       file {
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         path => 
     
     "/tmp/access_log"
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         start_position => 
     
     "beginning"
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       }
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     }
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     output {
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       elasticsearch {
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         hosts => [
     
     "localhost:9200"]
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         user => 
     
     "elastic"
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         password => 
     
     "changeme"
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       }
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     }
>

启动Logstash容器：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker run -v /home/ubuntu/logstash/conf
     
     .d:
     
     /usr/share/logstash/pipeline/:ro -v /tmp:
     
     /tmp:ro \
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     -v /home/ubuntu/logstash/logstash
     
     .yml:
     
     /usr/share/logstash/config/logstash
     
     .yml:ro --name my-logstash \
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     --network host -d docker
     
     .elastic
     
     .co/logstash/logstash:
     
     5.5
     
     .1

测试一下，在/tmp/access.log中添加两行信息：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     echo 
     
     "Hello World!" >> /tmp/access_log
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     echo 
     
     "Hello ELK!" >> /tmp/access_log

打开kibana的链接http://yourhost:5601，使用用户名/密码: elastic/changeme登录。在”Configure an index pattern”页面点击Create按钮。点击菜单Monitor即可查看ELK节点的状态 
Kibana Monitor
在Kibana点击Discover菜单，可以看到相关的日志信息： 
Kibana Discover

使用Elastic Search集群部署

Elastic官方提供了用docker-compose启动Elastic Search集群的方法，首先安装docker-compose


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     curl 
     
     -L 
     
     https:
     
     //github.com/docker/compose/releases/download/1.15.0/docker-compose-Linux-x86_64 \
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     > 
     
     /usr/
     
     local
     
     /bin/docker
     
     -compose
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     sudo chmod 
     
     +x /usr/
     
     local/bin/docker
     
     -compose
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker
     
     -compose 
     
     --version

创建一个elasticsearch/docker-compose.yml文件：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     version: 
     
     '2'
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     services:
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       elasticsearch1:
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         image: docker.elastic.co/elasticsearch/elasticsearch:
     
     5.5
     
     .1
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         container_name: elasticsearch1
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         environment:
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      cluster.name=docker-cluster
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      bootstrap.memory_lock=true
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         ulimits:
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           memlock:
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             soft: 
     
     -1
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             hard: 
     
     -1
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         mem_limit: 
     
     1g
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         volumes:
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      esdata1:/usr/share/elasticsearch/data
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         ports:
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      9200:9200
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         networks:
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      esnet
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       elasticsearch2:
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         image: docker.elastic.co/elasticsearch/elasticsearch:
     
     5.5
     
     .1
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         environment:
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      cluster.name=docker-cluster
    
    
    
   
   
  25. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      bootstrap.memory_lock=true
    
    
    
   
   
  26. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    
    
    
   
   
  27. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      "discovery.zen.ping.unicast.hosts=elasticsearch1"
    
    
    
   
   
  28. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         ulimits:
    
    
    
   
   
  29. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           memlock:
    
    
    
   
   
  30. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             soft: 
     
     -1
    
    
    
   
   
  31. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             hard: 
     
     -1
    
    
    
   
   
  32. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         mem_limit: 
     
     1g
    
    
    
   
   
  33. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         volumes:
    
    
    
   
   
  34. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      esdata2:/usr/share/elasticsearch/data
    
    
    
   
   
  35. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         networks:
    
    
    
   
   
  36. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           -
     
      esnet
    
    
    
   
   
  37. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
   
   
  38. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     volumes:
    
    
    
   
   
  39. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       esdata1:
    
    
    
   
   
  40. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         driver: local
    
    
    
   
   
  41. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       esdata2:
    
    
    
   
   
  42. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         driver: local
    
    
    
   
   
  43. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  44. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     networks:
    
    
    
   
   
  45. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       esnet:

在/etc/sysctl.conf文件中追加一行

vm.max_map_count = 262144

执行命令应用变更：

sudo sysctl -p

在docker-compose.yml所在的目录执行以下命令，启动elastic search集群：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker stop 
     
     my
     
     -elastic 
     
     && docker rm 
     
     my
     
     -elastic
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker
     
     -compose up 
     
     &

在Kibana中Monitor菜单中可以看到，Elastic Search集群已经正常工作： 
Elastic Cluster

修改默认密码

Elastic Docker Images的默认账号密码是elastic/changeme，使用默认密码是不安全的，假设要把密码改为elastic0。在Docker所在服务器上执行命令，修改用户elastic的密码：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     curl 
     
     -XPUT 
     
     -u elastic 
     
     'localhost:9200/_xpack/security/user/elastic/_password' 
     
     -H 
     
     "Content-Type: application/json" 
     
     \
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     -d 
     
     '{
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       "password" : "elastic0"
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     }'

设置密码，重启Kibana：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker stop 
     
     my
     
     -kibana 
     
     && docker rm 
     
     my
     
     -kibana
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     docker run 
     
     -p 
     
     5601:
     
     5601 
     
     -e 
     
     "ELASTICSEARCH_URL=http://localhost:9200" 
     
     -e 
     
     "ELASTICSEARCH_PASSWORD=elastic0"  
     
     \
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     --name 
     
     my
     
     -kibana 
     
     --network host 
     
     -d docker
     
     .elastic
     
     .co/kibana/kibana:
     
     5.5
     
     .1

修改logstash/logstash.yml，logstash/conf.d/logstash.conf中的密码，然后重启logstash服务

docker restart my-logstash

测试一下，在/tmp/access.log中添加两行信息：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     echo 
     
     "Hello World!" >> /tmp/access_log
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     echo 
     
     "Hello ELK!" >> /tmp/access_log

打开kibana的链接http://yourhost:5601，使用用户名/密码: elastic/elastic0登录。在”Configure an index pattern”页面点击Create按钮。点击菜单Monitor即可查看ELK节点的状态，默认密码已经修改成功。

股海孙悟空
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解使用Docker快速部署ELK环境（最新5.5.1版本）
09-29
主要介绍了详解使用Docker快速部署ELK环境（最新5.5.1版本），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
ELK 完整部署和使用 - 每天5分钟玩转 Docker 容器技术（90）
CloudMan6的博客
11-05 1067
本节讨论如何将日志导入 ELK 并进行图形化展示。
【云原生 | 59】Docker中通过docker-compose部署ELK
最新发布
小鹏linux的博客
05-29 1796
各个组件的作用如下： Filebeat：采集文件等日志数据； LogStash：过滤日志数据； Elastic Search：存储、索引日志； Kibana：用户界面；
使用docker部署elk
紫川琴秀的博客
10-10 306
网上的那些零零碎碎的，基本你都不好用。自己将网上的以及自己的整理成一个版本。 1、拉取elk镜像 docker pull wallbase/elasticsearch-head:6-alpine docker pull docker.elastic.co/logstash/logstash:6.4.3 docker pull docker.elastic.co/elasticsearc...
Docker 部署ELK
怀素的专栏
12-14 1148
ELK8 需要docker18以上，目前使用ELK7配置目录：/data/elk/安装elasticsearch、kibana、logstash。
Docker部署ELK
qq_40406380的博客
06-15 4542
privileged=true 使容器有权限挂载目录。里面的host改为主机的真实IP（内网172网段ip）IP地址改为主机的真实IP（内网172网段ip）-p （小写）映射端口号，主机端口:容器端口。安装ik分词器，下载ik.zip（-P（大写）随机为容器指定端口号。-e 指定启动容器时的环境变量。–name 指定容器别名。–net 连接指定网络。-v 进行容器的挂载。
详解如何使用Docker快速部署ELK环境(最新5.5.1版本)
09-30
主要介绍了详解如何使用Docker快速部署ELK环境(最新5.5.1版本),小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
基于Docker快速部署多需求Spark自动化测试环境
02-24
本文基于Docker、Jenkins、ApacheAnt、ApacheTomcat、Git、Shell等技术或工具，根据用户对Spark版本、Scala版本、JDK版本、测试范围、测试版本等需求的不同，快速完成SparkCluster环境以及相应的Client端测试环境的...
基于Docker快速搭建ELK6.7.0.zip
12-05
用最简单的方法做复杂的工作：基于Centos7.2+Docker18.03.1-ce快速搭建ELK6.7.0！
docker部署ELK
Lem0n_Tree的博客
11-24 2143
1. 环境配置 IP 分类 192.168.20.51 elasticsearch1 & kibana 192.168.20.52 elasticsearch2 192.168.20.53 elasticsearch3 在最后添加一行 sudo vim /etc/sysctl.conf vm.max_map_count=655360 执行并生效 sudo sysctl -p sudo sysctl -a | grep max_map_count 2. 配置ELK 2.
docker部署elk
eighters的博客
11-02 1466
docker部署elk，实测步骤及测试梳理
使用docker部署ELK日志框架
不啃指甲的博客
06-27 290
elk是由Elasticsearch、Logstash、Kibana三个开源组件组合形成的框架。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。
使用docker安装部署ELK，完成mysql同步数据es（详细步骤）
qinghuidu的博客
07-30 1015
使用docker安装部署ELK（简单版） 第一次安装使用elk，做个记录，本地windows版部署使用已跑通，现在就试了下linux的，选用docker进行部署，主要原因是使用安装包部署过于麻烦，docker部署简洁，用的版本是6.8.1。 windows版elasticsearch+logstash参考： https://blog.csdn.net/qq_15199097/article/details/91819540 https://blog.csdn.net/wz...
【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]
杨大仙
04-13 4191
【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana] ... ..
利用docker-compose搭建ELK5.0
weixin_33910385的博客
01-03 339
一、搭建环境172.19.2.51：elasticsearch+kibana+logstash+kopf 172.19.2.50：elasticsearch+nginx+filebeat 172.19.2.49：elasticsearch其中nginx的访问日志为我们要采集的内容，用filebeat传输，所以nginx和filebeat都没有在docker中运行其他所有组件都...
CentOS7部署ELK5.2
weixin_30652897的博客
09-19 113
原文发表于cu：2017-02-10 参考文档： Elasticsearchyum文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html Logstashyum文档：https://www.elastic.co/guide/en/logstash/current/installin...
使用Docker快速部署MySQL 5.7环境
Docker提供了一个轻量级的容器化环境，使得在不同环境中部署和运行MySQL变得简单。以下是详细的步骤： 1. **搜索并拉取MySQL镜像**: 首先，通过命令`docker search mysql`可以列出Docker Hub上可获取的各种MySQL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值