Docker ElK安装部署使用教程

标签: Docker ELK
18人阅读 评论(0) 收藏 举报
分类:

转载自:https://www.cnblogs.com/soar1688/p/6849183.html

一、简介

1、核心组成

ELK由Elasticsearch、Logstash和Kibana三部分组件组成;

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

 

Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用

 

kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

2、四大组件

Logstash: logstash server端用来搜集日志;

 

Elasticsearch: 存储各类日志;

 

Kibana: web化接口用作查寻和可视化日志;

 

Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server;

 

3、ELK工作流程

在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

 

wKioL1YWGBnxpAwyAAGFWRpT6X8070.jpg

4、ELK的帮助手册

Docker Hub官网:https://hub.docker.com/r/sebp/elk/

Docker ELK使用文档:http://elk-docker.readthedocs.io/

5、安装前提条件:

Docker至少得分配3GB的内存;

Elasticsearch至少需要单独2G的内存;

防火墙开放相关端口;

vm.max_map_count至少需要262144,附永久修改vm.max_map_count方法如下图:

 

执行命令:sysctl -p 查看

 

二、安装Docker ELK

1、执行命令:docker pull sebp/elk 将镜像pull到本地来;

2、执行命令:docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -e ES_MIN_MEM=128m  -e ES_MAX_MEM=1024m -it --name elk sebp/elk 将镜像运行为容器,由于我本机内存不符合安装要求,为了保证ELK能够正常运行,加了-e参数限制使用最小内存及最大内存。

3、打开浏览器,输入:http://<your-host>:5601,看到如下界面说明安装成功

 三、配置使用

1、使用命令:docker exec -it <container-name> /bin/bash 进入容器内

2、执行命令:/opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["localhost"] } }'

  注意:如果看到这样的报错信息 Logstash could not be started because there is already another instance using the configured data directory.  If you wish to run multiple instances, you must change the "path.data" setting. 请执行命令:service logstash stop 然后在执行就可以了。

3、当命令成功被执行后,看到:Successfully started Logstash API endpoint {:port=>9600} 信息后,输入:this is a dummy entry 然后回车,模拟一条日志进行测试。

4、打开浏览器,输入:http://<your-host>:9200/_search?pretty 如图,就会看到我们刚刚输入的日志内容

5、打开浏览器,输入:http://<your-host>:5601 点击创建

  6、看到如下界面,到此安装结束。


查看评论

使用Docker快速部署ELK环境(最新5.5.1版本)

本文介绍了如何使用Docker快速部署一个ELK日志采集和分析环境。
  • gongxsh00
  • gongxsh00
  • 2017-08-09 16:42:34
  • 6122

Docker实战(九):Docker安装ELK环境

Docker安装ELK环境
  • birdben
  • birdben
  • 2015-12-24 04:19:17
  • 11618

elk日志系统安装部署

elk是什么?ELK是ElasticSearch、Logstash、Kibana三个应用的缩写。 ElasticSearch简称ES,主要用来存储和检索数据。 Logstash主要用来往ES中写入数据...
  • JQLiao_
  • JQLiao_
  • 2016-10-18 09:51:32
  • 1721

用Docker+ELK集中处理日志

需求手头有几个服务器的日志需要处理,数据量也不是很大,但是又不想在每个服务器上都装一套ELK,毕竟这货还是挺笨重的。另外,ELK这堆东西依赖也挺多,而且还是用JAVA的,我才不想为了装这个把系统搞得乱...
  • Raptor
  • Raptor
  • 2017-08-27 18:34:41
  • 5189

单机docker部署elk测试环境

my docker-machine ip:  ✘ ⚙ xiezhenjia@xiezhenjiadeMac-mini  ~/go/src/h12.me/kafka/tools/kafpro ...
  • strangerLove
  • strangerLove
  • 2016-01-27 17:32:31
  • 2591

Docker实战(十一):Docker安装ELK环境(二)

Docker安装ELK环境(二)
  • birdben
  • birdben
  • 2016-01-08 06:40:13
  • 4677

Doker ELK 的安装部署使用教程

简介1. ELK是什么?ELK 是由Elasticsearch,Logstash 和 kibana 三个组件组成的 一种日志收集分析系统。其中: 1. Logstash: 主要用来收集日志,并...
  • J3oker
  • J3oker
  • 2017-10-24 18:10:43
  • 804

Docker ELK+Filebeat安装与配置

前言: 为什么要写个博文,在用Docker安装ELK实在遇到太大的坑了,我在安装的时候刚好ELK三个版本更新到了6.X,Filebeat也是6.X版本,但无论是谷歌还是百度,都是些5.X的文章,...
  • qq_39284787
  • qq_39284787
  • 2017-12-15 09:53:17
  • 512

Docker构建ELK Docker集群日志收集系统_docker

当我们搭建好Docker集群后就要解决如何收集日志的问题 ELK就提供了一套完整的解决方案 本文主要介绍使用Docker搭建ELK 收集Docker集群的日志 ELK简介 ELK由Elas...
  • shuyun123456789
  • shuyun123456789
  • 2018-01-16 13:54:57
  • 222

docker安装ELK

第一步:创建目录和配置文件 mkdir-p /data/server/nginx/conf/ vim nginx.conf -----------------------------------...
  • weixin_39678127
  • weixin_39678127
  • 2017-08-30 16:56:01
  • 213
    个人资料
    持之以恒
    等级:
    访问量: 5670
    积分: 151
    排名: 110万+
    文章存档