EFK日志收集系统搭建（docker-compose版）

最新推荐文章于 2024-04-24 13:13:11 发布
最新推荐文章于 2024-04-24 13:13:11 发布
阅读量3.6k 收藏 6
点赞数 3
分类专栏： 运维 ELK 文章标签： elk filebeat 日志收集 efk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42170236/article/details/112372926
版权
运维 同时被 2 个专栏收录
51 篇文章 27 订阅
订阅专栏
ELK
1 篇文章 0 订阅
订阅专栏

docker-compose搭建EFK日志收集系统

1. 环境

Ubuntu18.04.4

服务版本服务器
elasticsearch7.1.1192.168.1.197
search7.1.1192.168.1.197
filebeat7.1.1192.168.1.197
elastichdlatest192.168.1.197
filebeat-27.1.1192.168.1.196（另一台服务器，服务多实例，收集日志用）

2. 准备工作

2.1 创建文件夹

sudo mkdir -p /var/dlp/data/elk/data/filebeat
sudo mkdir -p /var/dlp/data/elk/data/elasticsearch
sudo mkdir -p /var/dlp/data/elk/filebeat
sudo mkdir -p /var/dlp/data/elk/conf

2.2 数据文件赋予读写权限

sudo chmod -R 777 /var/dlp/data/elk/data

2.3 docker-compose.yml

编辑文件

sudo vim /var/dlp/data/docker-compose.yml

docker-compose.yml内容

version: '3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.1.1
    container_name: elk_elasticsearch7.1.1
    privileged: true
    environment:
      - discovery.type=single-node
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - /var/dlp/data/elk/data/elasticsearch:/usr/share/elasticsearch/data #这里将elasticsearch的数据文件映射本地，以保证下次如果删除了容器还有数据
    hostname: elasticsearch
    restart: always
    networks:
      - esnet
    ports:
      - 9200:9200
      - 9300:9300

  kibana:
    image: docker.elastic.co/kibana/kibana:7.1.1
    container_name: elk_kibana7.1.1
    privileged: true
    environment:
      - elasticsearch.hosts=http://192.168.1.197:9200
    hostname: elk_kibana
    depends_on:
      - elasticsearch
    volumes:
      - /var/dlp/data/elk/conf/kibana.yml:/usr/share/kibana/config/kibana.yml
    restart: always
    networks:
      - esnet
    depends_on:
      - "elasticsearch"
    ports:
      - "5601:5601"

  filebeat:
    image: docker.elastic.co/beats/filebeat:7.1.1
    container_name: elk_filebeat
    volumes:
      - /var/dlp/data/elk/conf/filebeat.yml:/usr/share/filebeat/filebeat.yml
      - /var/dlp/data/elk/data/filebeat:/usr/share/filebeat/data
      - /var/dlp/logs/bms:/usr/share/filebeat/logs/bms  # 需要收集的文件路径
    networks:
      - esnet
    depends_on:
      - "elasticsearch"
      - "kibana"

  eshead:
    image: containerize/elastichd:latest
    container_name: elk_eshead
    networks:
      - esnet
    ports:
      - 9800:9800
    depends_on:
      - "elasticsearch"


networks:
  esnet:
    driver: bridge

2.3.1 配置中映射详情

elasticsearch数据路径 /var/dlp/data/elk/data/elasticsearch
filebeat数据路径 /var/dlp/data/elk/data/filebeat
收集的日志文件路径 /var/dlp/logs/bms
kibana配置文件 /var/dlp/data/elk/conf/kibana.yml
filebeat配置文件 /var/dlp/data/elk/conf/filebeat.yml

2.4 kibana.yml

sudo vim /var/dlp/data/elk/conf/kibana.yml

server.host: "0.0.0.0"
server.port: 5601
server.name: kibana
elasticsearch.hosts: [ "http://192.168.1.197:9200" ]  # 此处为es的master地址
i18n.locale: zh-CN #中文
xpack:
  monitoring.ui.container.elasticsearch.enabled: true
  apm.ui.enabled: false
  graph.enabled: false
  ml.enabled: false
  monitoring.enabled: false
  reporting.enabled: false
  security.enabled: false
  grokdebugger.enabled: false
  searchprofiler.enabled: false

2.5 Filebeat配置文件

sudo vim /var/dlp/data/elk/conf/filebeat.yml

filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false


processors:
- add_cloud_metadata: ~


filebeat.inputs:
- type: log
  enabled: true
  paths:
    /usr/share/filebeat/logs/bms/dlp-bms-service.log
  # exclude_lines: ["^DBG"]  # 在输入中排除符合正则表达式列表的那些行。
  tags: ["bms"]
  multiline.pattern: ^\d+\-\d+\-\d+ #日志开头以“数字-数字-数字”的格式开头，不是以此开头的日志计算上一行日志
  multiline.negate: true
  multiline.match: after

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true

output.elasticsearch:
  hosts: ["192.168.1.197:9200"] # IP为elasticsearchIP
  indices:
    - index: "bms197-%{+yyyy.MM.dd}" # bms197为了多实例区分
      when.contains:
        tags: "bms"

2.6 启动停止命令

# 启动
docker-compose up -d
# 停止
docker-compose down

2.7 filebeat收集另外一台服务器日志

环境：IP：192.168.1.196

2.7.1 创建文件夹

sudo mkdir -p /var/dlp/data/elk/data/filebeat
sudo mkdir -p /var/dlp/data/elk/filebeat
sudo mkdir -p /var/dlp/data/elk/conf

数据文件赋予读写权限

sudo chmod -R 777 /var/dlp/data/elk/data

2.7.2 编辑docker-compose文件

sudo vim /var/dlp/data/elk/filebeat/docker-compose.yml

version: '3'
services:
  filebeat:
    image: docker.elastic.co/beats/filebeat:7.1.1
    container_name: elk_filebeat
    volumes:
      - /var/dlp/data/elk/conf/filebeat.yml:/usr/share/filebeat/filebeat.yml
      - /var/dlp/data/elk/data/filebeat:/usr/share/filebeat/data
      - /var/dlp/logs/bms:/usr/share/filebeat/logs/bms   # bms

注意：
有两处配置跟上面不同
output.elasticsearch的hosts写es服务器地址
index写bms196，做区分

2.7.3 编辑filebeat.yml配置文件

sudo vim /var/dlp/data/elk/conf/filebeat.yml

filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false


processors:
- add_cloud_metadata: ~


filebeat.inputs:
- type: log
  enabled: true
  paths:
    /usr/share/filebeat/logs/bms/dlp-bms-service.log
  # exclude_lines: ["^DBG"]  # 在输入中排除符合正则表达式列表的那些行。
  tags: ["bms"]
  multiline.pattern: ^\d+\-\d+\-\d+ #日志开头以“数字-数字-数字”的格式开头，不是以此开头的日志计算上一行日志
  multiline.negate: true
  multiline.match: after

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true

output.elasticsearch:
  hosts: ["192.168.1.197:9200"] # IP为elasticsearchIP
  indices:
    - index: "bms196-%{+yyyy.MM.dd}" # bms196为了多实例区分
      when.contains:
        tags: "bms"

2.7.4 命令

启动filebeat

docker-compose up -d

停止filebeat

docker-compose down

3. 页面验证

3.1 ElisticHD管理页面

http://192.168.1.197:9800/

填入es的地址和端口，点击connet
在这里插入图片描述
点击连接后，状态变成Yellow，证明es启动了，下面是界面
在这里插入图片描述

3.2 Kibana管理页面

http://192.168.1.197:5601/

3.2.1 创建索引模式

进入创建页面
在这里插入图片描述
定义索引模式
在这里插入图片描述
默认配置，点创建索引模式
在这里插入图片描述
索引模式创建成功
在这里插入图片描述

3.2.2 Kinaba页面按照日志关键字检索

在这里插入图片描述
至此，EFL搭建成功并可以正常使用！

手写不易，有用请点赞！！！

say荣帅
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Docker 快速搭建EFK日志中心
趙兴晨的博客
04-04 1231
注意：EFK 系统下的各个组件都非常吃内存，后期根据业务需要，EFK 的架构可进行扩展，当 FileBeat 收集的日志越来越多时，为防止数据丢失，可引入 Redis，而 ElasticSearch 也可扩展为集群，并使用 Head 插件进行管理， 所以要保证服务器有充足的运行内存和磁盘空间。但在分布式系统中，众多服务分散部署在数十台甚至上百台不同的服务器上，想要快速方便的实现查找、分析和归档等功能，使用Linux命令等传统的方式查询到想要的日志就费事费力，更不要说对日志进行分析与归纳了。
docker-compose安装elasticsearch集群+kibana
maquealone的博客
04-20 7155
公司需要用到elasticsearch做垂直搜索，下面记录下搭建elasticsearch集群环境的步骤。服务器使用的是阿里云服务器，操作系统是centos7。 一、安装docker Yum install docker-ce 安装成功后运行docker -v查看docker版本。 运行docker run hello-world查看docker是否可用。 注意：一定要提前运行下do...
docker-compose 部署efk（有这篇就够了）
Abel_JiaWei的博客
11-02 3803
docker-compose 部署EFK 这两天在搭建EFK（Elasticsearch+fluentd+Kibana） EFK是什么？？？ EFK不是一个软件，而是一套解决方案，开源软件之间的互相配合使用，高效的满足了很多场合的应用，是目前主流的一种日志系统。EFK是三个开源软件的缩写，分别表示：Elasticsearch , Fluentd, Kibana , 其中ELasticsearch负责日志保存和搜索，Fluentd负责收集日志，Kibana 负责界面,三者配合起来，形成一个非常完美的解决方案；
docker-compose安装包
12-19
Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像、参数、依赖。一个服务当中可包括多个容器实例，Docker-Compose并没有解决负载均衡的问题，因此需要借助其它工具实现服务发现及负载均衡，比如 Consul。
搭建EFK（elasticsearch + fluentd + kibana）日志系统
wjf8882300的专栏
12-30 7638
搭建EFK（elastic search + fluentd + kibana）日志系统 网上关于这一块的介绍已经有不少了，但发现基本介绍的都是在一台机器上的demo，实用性不强。事实上如果应用很简单，根本没必要搭建专门的日志系统来收集日志，直接看日志文件就好了。出现这种需求反而是大型系统或者微服务架构，有几十上百甚至上千台服务的时候，如果还是传统的到服务器上看日志，那就看不过来了。特别是集群环境...
docker笔记48-部署EFK日志系统
cjfcxf010101的博客
11-10 334
一个完整的k8s集群，应该包含如下六大部分：kube-dns、ingress-controller、metrics server监控系统、dashboard、存储和EFK日志系统。 我们的日志系统要...
（实战）docker-compose部署分布式日志方案EFK(Elasticsearch+Fluentd+Kibana)
不积跬步无以至千里
10-21 958
采集SpringCloud的Logback日志为例，使用Docker容器化技术快速部署EFK实现分布式日志管理。项目地址：https://github.com/huangyang1230/springboot_efk.git
docker-compose 部署 EFK
weixin_30885111的博客
02-22 388
信息： Docker版本（$ docker --version）：Docker版本18.06.1-ce，版本e68fc7a 系统信息（$ cat /etc/centos-release）：CentOS Linux release 7.5.1804 (Core) 第一步：配置镜像加速 sudo mkdir -p /etc/docker sudo tee /etc/docker/...
基于Docker部署的EFK日志收集系统
qq_24739007的博客
09-09 560
从此告别SSH服务器查看日志的方式
通过docker compose部署EFK
maxideacom的博客
05-10 448
通过docker compose部署EFK目标使用到的镜像补充说明Docker compose文件文件说明filebeat.docker-compose.yml文件文件说明常见问题vm.max_map_count设置问题解决办法Data volume数据清除手动创建的Kibana如何加入集群？ 目标 通过docker compose一次性部署Elasticsearch、Filebeat、Kibana。 使用到的镜像 docker pull store/elastic/filebeat:7.6.2 docke
docker安装efk
最新发布
m0_56693018的博客
04-24 594
【代码】docker安装efk。
elk或efk日志报警elastalert-docker安装-仅邮件
06-29
elk或efk日志报警elastalert-docker安装-仅邮件
docker-compose-linux
11-02
docker-compose-linux，包含以下 activemq,baidupcs-web,canal,confluence,couchbase,efk,elasticsearch,elk,elkf,fastdfs,filebeat,flowable,gitlab,gogs,grafana,grafana-promtail-loki-nginx-demo,grafana_...
elk或efk日志报警elastalert-docker安装-邮件或钉钉
06-29
elk或efk日志报警elastalert-docker安装-邮件或钉钉
istio-micro：istio微服务示例代码grpc + protobuf + echo + websocket + mysql + redis + kafka + docker-compose
02-02
frontend前台查询用户的接口srv_user用户服务srv_socket推出服务srv_account账户服务快速演示（docker-compose）安装流程安装依赖系统依赖安装git> = 2.17 get 使解压缩柏油去> = 1.13 > = 3.6.1设置protocbuf
EFK日志系统安装配置文档
08-01
ELK、EFK安装及配置文档，详细的阐述了EFK架构，其中包括了kafka、elasticsearch、elasticsearch-head、nodejs、kibana、logstash、filebeat等的安装配置。
efk搭建收集日志（超详细！）
weixin_50663202的博客
09-19 2621
三台虚拟机 环境： 运行内存跟内核个数都是2G centos7 192.168.10.131:jdk,zookeeper,kafka,filebeat，elasticsearch 192.168.10.132:jdk,zookeeper,kafka,logstash 192.168.10.133:jdk,zookeeper,kafka,kibana 从第一步开始三台都要做相同操作 1：时间同步 [root@localhost ~]# ntpdate pool.ntp.org 2：关闭防火墙 [root@lo
docker-compose搭建es集群+EFK搭建分布式日志监控系统
程序员一条胡
11-05 981
PART1 通过docker-compose容器编排一键搭建elasticsearch(ik中文分词)集群 Elasticsearch Elasticsearch（ES）是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎。Elasticsearch还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，ES能够横向扩展至数以百计的服务器存储以及处理...
利用docker-compose单节点快速部署efk日志收集系统
weixin_41228362的博客
08-03 557
efk-log-monitor 用docker compose方式安装了fluentd，es，kibana githup地址 说明 线上的springboot应用程序通过logback，发送到了fluentd所监听的24224端口，fluentd接到日志发送到es中，最后利用kibana查看日志。 版本 fluentd-1.3.2 fluent-plugin-elasticsearch 4.1.1 elasticsearch:6.5.4 kibana:6.5.4 配置 elasticsearch 配置
docker-compose部署efk
09-20
通过docker compose可以一次性部署Elasticsearch、Filebeat和Kibana（EFK）。你需要使用以下镜像: - docker pull store/elastic/filebeat:7.6.2 - docker pull elasticsearch:7.6.2 - docker pull kibana:7.6.2 在docker compose文件中，你可以创建一个包含两个Elasticsearch节点的集群。其中一个节点（es01）监听本地主机的9200端口，另一个节点（es02）通过Docker网络与es01通信。为了保持数据的一致性，你可以将数据目录（data01和data02）挂载到Docker存储节点上。如果目录不存在，docker compose会在启动集群时自动创建它们（默认位置为/var/lib/docker/volumes/）。 在Filebeat和Kibana的配置中，你需要将Elasticsearch的主机地址改为集群中监听9200端口的es01节点。 以下是一个示例的docker compose文件部分内容（假设为filebeat.docker-compose.yml）： ``` version: '3' services: elasticsearch: image: elasticsearch:7.6.2 ports: - 9200:9200 volumes: - data01:/path/to/data01 filebeat: image: store/elastic/filebeat:7.6.2 volumes: - /var/run/docker.sock:/var/run/docker.sock - /var/lib/docker/containers:/var/lib/docker/containers configs: - source: filebeat-config target: /usr/share/filebeat/filebeat.yml kibana: image: kibana:7.6.2 environment: - ELASTICSEARCH_HOSTS=es01:9200 ports: - 5601:5601 volumes: data01: configs: filebeat-config: file: ./filebeat.yml ``` 请注意，以上仅为示例，你可能需要根据实际情况进行调整。另外，为了解决一些常见问题，你可能需要确保正确设置了vm.max_map_count，并了解如何手动创建Kibana节点并加入集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值