日志系统----docker部署ELK日志系统

最新推荐文章于 2024-05-30 11:38:48 发布
最新推荐文章于 2024-05-30 11:38:48 发布
阅读量777 收藏 2
点赞数 1
分类专栏： 日志系统ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cyfblog/article/details/102839590
版权

ELK系统搭建

一、系统架构

在这里插入图片描述

二、es集群搭建

1、配置准备

docker run -d --name es --rm -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.2.0
mikdir -p /docker/elk/es1
docker cp es:/usr/share/elasticsearch/config /docker/elk/es1/config
docker stop es
sudo mkdir -p /docker/elk/es1/data
sudo chmod -R 777 /docker/elk/es1/data
cp -a /docker/elk/es1 /docker/elk/es2
cp -a /docker/elk/es1 /docker/elk/es3

2、配置文件修改

主节点node1：elasticsearch.yml

cluster.name: "elk"
node.name: node1
node.master: true
node.data: false
network.bind_host: 0.0.0.0
network.publish_host: 192.168.10.44 
http.port: 9201
transport.tcp.port: 9301
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["192.168.10.44:9301","192.168.10.44:9302","192.168.10.44:9303"]
cluster.initial_master_nodes: ["node1"]
xpack.monitoring.collection.enabled: true

数据节点node2：elasticsearch.yml

cluster.name: "elk"
node.name: node2
node.master: false
node.data: true
network.bind_host: 0.0.0.0
network.publish_host: 192.168.10.44 
http.port: 9202
transport.tcp.port: 9302
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["192.168.10.44:9301","192.168.10.44:9302","192.168.10.44:9303"]
cluster.initial_master_nodes: ["node1"]
xpack.monitoring.collection.enabled: true

数据节点node3：elasticsearch.yml

cluster.name: "elk"
node.name: node3
node.master: false
node.data: true
network.bind_host: 0.0.0.0
network.publish_host: 192.168.10.44 
http.port: 9203
transport.tcp.port: 9303
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["192.168.10.44:9301","192.168.10.44:9302","192.168.10.44:9303"]
cluster.initial_master_nodes: ["node1"]
xpack.monitoring.collection.enabled: true

3、启动es集群

docker run -d --name es-node1 -p 9201:9201 -p 9301:9301 \
-v /docker/elk/es1/config/:/usr/share/elasticsearch/config \
-v /docker/elk/es1/data/:/usr/share/elasticsearch/data \
docker.elastic.co/elasticsearch/elasticsearch:7.2.0

docker run -d --name es-node2 -p 9202:9202 -p 9302:9302 \
-v /docker/elk/es2/config/:/usr/share/elasticsearch/config \
-v /docker/elk/es2/data/:/usr/share/elasticsearch/data \
docker.elastic.co/elasticsearch/elasticsearch:7.2.0

docker run -d --name es-node3 -p 9203:9203 -p 9303:9303 \
-v /docker/elk/es3/config/:/usr/share/elasticsearch/config \
-v /docker/elk/es3/data/:/usr/share/elasticsearch/data \
docker.elastic.co/elasticsearch/elasticsearch:7.2.0

4、查看集群状态

status状态为green，视为集群搭建成功

curl 192.168.10.44:9201/_cluster/health
{"cluster_name":"elk","status":"green","timed_out":false,"number_of_nodes":3,"number_of_data_nodes":2,"active_primary_shards":9,"active_shards":18,"relocating_shards":0,"initializing_shards":0,"unassigned_shards":0,"delayed_unassigned_shards":0,"number_of_pending_tasks":0,"number_of_in_flight_fetch":0,"task_max_waiting_in_queue_millis":0,"active_shards_percent_as_number":100.0}

三、kibana搭建

1、配置文件准备

docker run -d --name kibana --rm docker.elastic.co/kibana/kibana:7.2.0
mkdir -p /docker/elk/kibana/config
cd /docker/elk/kibana/config
docker cp kibana:/usr/share/kibana/config/kibana.yml .
docker stop kibana

kibana.yml

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.10.44:9201","http://192.168.10.44:9202","http://192.168.10.44:9203"]

2、启动命令

docker run -d --name kibana -p 5601:5601 -v /docker/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml:ro docker.elastic.co/kibana/kibana:7.2.0

3、浏览器访问

http://192.168.10.44:5601/
在这里插入图片描述
点击Dev tools，查看集群健康
在这里插入图片描述

四、redis搭建

1、配置文件准备

mkdir -p /docker/elk/redis/data
vim /docker/elk/redis/data/redis.conf

redis.conf

bind 0.0.0.0
daemonize no
pidfile "/var/run/redis.pid"
port 6380
timeout 300
loglevel warning
logfile "redis.log"
databases 16
rdbcompression yes
dbfilename "redis.rdb"
dir "/data"
requirepass "123456"
masterauth "123456"
maxclients 10000
maxmemory 1000mb
maxmemory-policy allkeys-lru
appendonly yes
appendfsync always

2、启动命令

docker run -d --name redis -p 6380:6380 -v /docker/elk/redis/data/:/data redis:5.0 redis-server  redis.conf

五、logstash搭建

1、配置准备

mkdir /docker/elk/logstash
cd /docker/elk/logstash
docker run --rm -d --name logstash docker.elastic.co/logstash/logstash:7.2.0
docker cp logstash:/usr/share/logstash/config .
docker cp logstash:/usr/share/logstash/pipeline .
docker stop logstash

2、修改配置文件

vim /docker/elk/logstash/config/logstash.yml
vim /docker/elk/logstash/config/pipelines.yml
mv /docker/elk/logstash/pipeline/logstash.conf /docker/elk/logstash/pipeline/docker.conf
vim /docker/elk/logstash/pipeline/docker.conf

logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: ["http://192.168.10.44:9201","http://192.168.10.44:9202","http://192.168.10.44:9203"]

pipelines.yml

- pipeline.id: docker
  path.config: "/usr/share/logstash/pipeline/docker.conf"

docker.conf

input {
    redis {
        host => "192.168.10.44"
        port => 6380
        db => 0
        key => "localhost"
        password => "123456"
        data_type => "list"
        threads => 4
        tags => "localhost"
    }
}

output {
    if "localhost" in [tags] {
        if [fields][function] == "docker" {
            elasticsearch {
                hosts => ["192.168.10.44:9201","192.168.10.44:9202","192.168.10.44:9203"]
                index => "docker-localhost-%{+YYYY.MM.dd}"
            }
        }
    }
}

3、启动命令

docker run -d -p 5044:5044 -p 9600:9600 --name logstash  \
-v /docker/elk/logstash/config/:/usr/share/logstash/config \
-v /docker/elk/logstash/pipeline/:/usr/share/logstash/pipeline \
docker.elastic.co/logstash/logstash:7.2.0

六、filebeat搭建（收集docker日志）

1、配置文件准备

mkdir /docker/elk/filebeat
vim /docker/elk/filebeat/filebeat.yml
sudo chown root:root /docker/elk/filebeat/filebeat.yml

filebeat.yml

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 1

filebeat.inputs:       
- type: docker
  enabled: true
  combine_partial: true
  containers:
    path: "/var/lib/docker/containers"
    ids:
      - '*'
  processors:
    - add_docker_metadata: ~
  encoding: utf-8
  max_bytes: 104857600 
  tail_files: true
  fields:
    function: docker  

#processors:
#  - add_host_metadata: ~
#  - add_cloud_metadata: ~

output.redis:
  hosts: ["192.168.10.44:6380"]
  password: "123456"
  db: 0
  key: "localhost"
  worker: 4 
  timeout: 5
  max_retries: 3
  codec.json:
    pretty: false

monitoring.enabled: true
monitoring.elasticsearch:
  hosts: ["http://192.168.10.44:9201","http://192.168.10.44:9202","http://192.168.10.44:9203"]

2、启动命令

docker run -d --name filebeat --hostname localhost --user=root \
-v /docker/elk/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro \
-v /var/lib/docker:/var/lib/docker:ro \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
docker.elastic.co/beats/filebeat:7.2.0

7、日志显示

1、配置索引

点击Management，再点击Kibana下面的Index Patterns，然后Create index pattern
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、查看日志

点击Discover
在这里插入图片描述

cyfblog
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Docker搭建ELK日志系统的方法示例
01-10
以下安装都是以 ~/ 目录作为安装根目录。 ElasticSearch 下载镜像： $ sudo docker pull elasticsearch:5.5.0 运行ElasticSearch容器： $ sudo docker run -it -d -p 9200:9200 -p 9300:9300 \ -v ~/elasticsearch/data:/usr/share/elasticsearch/data \ --name myes elasticsearch:5.5.0 特别注意的是如果使用v6以上版本会出现jdk的错误，我们查看日志 $ docker logs -f myes
Docker+EFK 快速搭建日志收集系统(包含具体细节和操作使用说明）
bai_shuang的博客
07-26 3026
Docker+EFK 快速搭建日志收集系统(包含具体细节和操作使用说明）
Docker 实践：快速搭建 ELK 日志分析系统
最新发布
Ade技术笔记
05-30 337
Docker 实践：快速搭建 ELK 日志分析系统，日志分析系统主要解决以下几个问题：日志的收集日志的存储日志的分析不同公司或团队对于日志分析解决方案各不相同，有技术实力的大厂一般自研，本文介绍的 ELK是著名的社区解决方案。ELK 官网（https://www.elastic.co/what-is/elk-stack）具体理论性知识，可自行查阅，下面开始实操搭建。
docker快速部署ELK日志系统
成的博客
10-26 6158
1.创建虚拟网络 docker network create elk 2.创建elasticsearch docker run --name elasticsearch -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -e "discovery.type=single-node" --net=elk -d -p 10092:9200 -p 10093:9300 elasticsearch:7.12.1 查看网络 sudo docker inspect -f '{{rang
docker搭建海量实时日志分析系统
球球之家
07-16 1714
主要技术 filebeat logstash zookeeper kafka elasticsearch kibana docker centos7 架构图 详细搭建 服务器目录情况 /home/log-script/lib 包含 elasticsearch-6.3.0.tar.gz filebeat-6.3.0-linux-x86_64.tar.gz jd...
Docker-compose部署ELK的示例代码
09-29
主要介绍了Docker-compose部署ELK的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
elk的docker-compose配置
12-17
总结，通过Docker Compose部署ELK栈提供了一种便捷的方法，使得在本地或生产环境中快速设置和管理日志分析系统成为可能。这种方法具有可扩展性，易于维护，同时也简化了升级和备份过程。通过理解每个组件的作用以及...
elk或efk日志报警elastalert-docker安装-仅邮件
06-29
elk或efk日志报警elastalert-docker安装-仅邮件
docker安装elk6.7.1-搜集java日志
07-09
Docker 安装 ELK 6.7.1-搜集 Java 日志 在本文中，我们将学习如何使用 Docker 安装 ELK 6.7.1，搜集 Java 日志。ELK（Elasticsearch、Logstash、Kibana）是一种流行的日志管理解决方案，广泛应用于大数据环境中。...
Docker构建ELK Docker集群日志收集系统
09-30
为了在Docker集群中更好的管理查看日志 我们使用Docker 来搭建集群的ELK日志收集系统，这篇文章介绍了Docker构建ELK Docker集群日志收集系统的相关资料,需要的朋友可以参考下
Docker构建ELK Docker集群日志收集系统_docker
mojolang
01-16 4584
当我们搭建好Docker集群后就要解决如何收集日志的问题 ELK就提供了一套完整的解决方案 本文主要介绍使用Docker搭建ELK 收集Docker集群的日志 ELK简介 ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成 Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，rest
docker搭建ELK+redis分析nginx日志
KevinKangKang's blog
11-28 349
The instruction of framework the flow direction of nginx log: Created with Raphaël 2.2.0nginxfilebeatredislogstashelasticsearchkibana components distribution The application server : nginx + filebeat...
Docker安装及应用(mysql,redis,elk,zookeeper,kafka …)部署
qq_28398487的博客
08-17 1358
#Docker安装及应用(mysql,redis,elk,zookeeper,kafka …)部署 1.1 安装Docker 注意：这里安装在CentOS7.x以上的版本，在CentOS6.x的版本中，安装前需要安装其他很多的环境而且Docker很多补丁不支持更新。 （1）yum 包更新到最新 sudo yum update （2）安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的 sudo yum install -y yum
Docker部署项目
weixin_62993347的博客
01-12 6515
Docker部署项目：1、使用Docker部署SpringBoot项目；2、使用Docker部署VUE项目；3、使用kkFileView在线预览文件；4、frp网络穿透实现外网访问
docker方式部署ELK日志环境
HelloTheWorld100的博客
07-08 551
ELK是一套针对日志数据做解决方案的框架，分别代表了三款产品： - E: ElasticSearch（ES），负责日志的存储和检索； - L：Logstash，负责日志的收集，过滤和格式化； - K：Kibana，负责日志的展示统计和数据可视化；包含以下几个主要特点：ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。注意：elk3个软件需要保持版本一致，此处使用的是7.8.0版本的镜像，版本不一致会出现未知错误。安装 Elastic
基于docker部署使用ELK+FileBeat日志管理平台
weixin_33913332的博客
11-29 1079
　　Docker从狭义上来讲就是一个进程，从广义上来讲是一个虚拟容器，专业叫法为 Application Container（应用容器）。Docker进程和普通的进程没有任何区别，它就是一个普通的应用进程，不过是用来操作镜像文件的。所以Docker进程+构建的应用镜像文件就等于Docker容器。作为时下最热门的技术，docker轻量、便捷，极大的简化了后端开发/后期运维工作。同时，ELK+File...
阿里云-日志服务-收集Docker部署项目的日志
weixin_44540088的博客
04-14 1133
阿里云-日志服务-收集Docker标准输出日志实践 文章目录阿里云-日志服务-收集Docker标准输出日志实践具体实现各参数官方参考文档地址实现原理大佬文章自我理解 具体实现 找到阿里云控制台 ➡ 日志服务 ➡ 划到最下边（如图） 2. 创建Project 注意：所属区域需要和后边的操作中保持一致 创建logStore（日志库） 上一步点击确认后会弹出该弹框，继续点击确认 上边的配置参数根据自己实际需求进行填写，影响不大 接入数据 上一步点击确认按钮后，如图，继续点击确认
docker 安装 elasticsearch
axibazZ的博客
09-01 628
elastic stack相关软件使用docker 安装
docker-compose部署elk
04-04
使用Docker Compose部署ELK非常方便，让我们来看看如何实现。 1. 安装Docker和Docker Compose 首先，你需要在你的机器上安装Docker和Docker Compose。如果你还没有安装，可以按照Docker官方文档进行安装：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值