Docker搭建ElasticStack8.9(Elasticsearch、Kibana、Filebeat)单节点模式实践日志收集展示

最新推荐文章于 2023-12-29 11:36:35 发布
最新推荐文章于 2023-12-29 11:36:35 发布
阅读量504 收藏
点赞数 2
文章标签： docker elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asdasdsaff/article/details/132194686
版权

1.前言

ElasticStack由Elasticsearch、Kibana、Logstash、Beat等组成，Logstash可用于采集数据的格式转换，单纯采集可不使用该工具。本文使用Elasticsearch、Kibana、Filebeat实现了简易的日志收集存储及实时展示。ElasticStack自8.0开始，安全配置默认激活，未使用TLS加密传输等情况下，服务将启动失败。安全可配置关闭，本文选择保留了相关安全功能。整体实践Elasticsearch采用的单节点模式，使用Docker的方式进行搭建，版本采用的是ElasticStack8.9.0，在不修改相关配置的情况下可直接通过docker-compose启动试用。

2.部署过程

2.1.创建初始目录结构

  • 整体文件及目录结构
    在这里插入图片描述

  • 在elastic_stack目录下进行授权，权限不足的情况下会导致服务启动失败。

chmod g+rwx ./elasticsearch/data && chgrp 0 ./elasticsearch/data && chmod g+rwx ./elasticsearch/plugins && chgrp 0 ./elasticsearch/plugins && chmod g+rwx ./kibana/data && chgrp 0 ./kibana/data

文件及目录结构已上传至CSDN，下载地址：https://download.csdn.net/download/asdasdsaff/88189474

下载并在elastic_stack目录下进行授权操作后，可跳过以下"2.部署过程"的剩余部分，直接进入"3.运行使用"进行启动使用。

2.2.编辑环境配置文件

  • 文件：./.env
  • 描述：可按需求配置密码，软件版本等信息。注意内存限制单位为bytes，下面的配置的内存限制为2G，设置过小会出现异常退出的情况，错误信息如"ERROR: Elasticsearch exited unexpectedly"。后面可凭elastic用户及配置的密码登录Kibana。
  • 内容：
# Password for the 'elastic' user (at least 6 characters)
ELASTIC_PASSWORD=aaaaaa

# Password for the 'kibana_system' user (at least 6 characters)
KIBANA_PASSWORD=aaaaaa

# Version of Elastic products
STACK_VERSION=8.9.0

# Set the cluster name
CLUSTER_NAME=docker-cluster

# Set to 'basic' or 'trial' to automatically start the 30-day trial
LICENSE=basic
#LICENSE=trial

# Port to expose Elasticsearch HTTP API to the host
ES_PORT=9200
#ES_PORT=127.0.0.1:9200

# Port to expose Kibana to the host
KIBANA_PORT=5601
#KIBANA_PORT=80

# Increase or decrease based on the available host memory (in bytes)
MEM_LIMIT=2147483648

# Project namespace (defaults to the current folder name if not set)
#COMPOSE_PROJECT_NAME=myproject

2.3.编辑docker-compose.yml

  • 文件：./docker-compose.yml
  • 描述：相关变量已在前面的.env文件中配置完成，docker-compose.yml可直接使用如下内容。注意Elasticsearch单节点模式必须加入"discovery.type=single-node"环境参数，否则启动将失败。filebeat的日志挂载路径可根据实际的日志位置进行调整，本次实践的日志位置在./demo下。
  • 内容：
version: "2.2"

services:
  setup:
    image: docker.elastic.co/elasticsearch/elasticsearch:${STACK_VERSION}
    volumes:
      - ./certs:/usr/share/elasticsearch/config/certs
    user: "0"
    command: >
      bash -c '
        if [ x${ELASTIC_PASSWORD} == x ]; then
          echo "Set the ELASTIC_PASSWORD environment variable in the .env file";
          exit 1;
        elif [ x${KIBANA_PASSWORD} == x ]; then
          echo "Set the KIBANA_PASSWORD environment variable in the .env file";
          exit 1;
        fi;
        if [ ! -f config/certs/ca.zip ]; then
          echo "Creating CA";
          bin/elasticsearch-certutil ca --silent --pem -out config/certs/ca.zip;
          unzip config/certs/ca.zip -d config/certs;
        fi;
        if [ ! -f config/certs/certs.zip ]; then
          echo "Creating certs";
          echo -ne \
          "instances:\n"\
          "  - name: elasticsearch\n"\
          "    dns:\n"\
          "      - elasticsearch\n"\
          "      - localhost\n"\
          "    ip:\n"\
          "      - 127.0.0.1\n"\
          > config/certs/instances.yml;
          bin/elasticsearch-certutil cert --silent --pem -out config/certs/certs.zip --in config/certs/instances.yml --ca-cert config/certs/ca/ca.crt --ca-key config/certs/ca/ca.key;
          unzip config/certs/certs.zip -d config/certs;
        fi;
        echo "Setting file permissions"
        chown -R root:root config/certs;
        find . -type d -exec chmod 750 \{\} \;;
        find . -type f -exec chmod 640 \{\} \;;
        echo "Waiting for Elasticsearch availability";
        until curl -s --cacert config/certs/ca/ca.crt https://elasticsearch:9200 | grep -q "missing authentication credentials"; do sleep 30; done;
        echo "Setting kibana_system password";
        until curl -s -X POST --cacert config/certs/ca/ca.crt -u "elastic:${ELASTIC_PASSWORD}" -H "Content-Type: application/json" https://elasticsearch:9200/_security/user/kibana_system/_password -d "{\"password\":\"${KIBANA_PASSWORD}\"}" | grep -q "^{}"; do sleep 10; done;
        echo "All done!";
      '
    healthcheck:
      test: ["CMD-SHELL", "[ -f config/certs/elasticsearch/elasticsearch.crt ]"]
      interval: 1s
      timeout: 5s
      retries: 120

  elasticsearch:
    depends_on:
      setup:
        condition: service_healthy
    image: docker.elastic.co/elasticsearch/elasticsearch:${STACK_VERSION}
    restart: always
    container_name: elasticsearch
    volumes:
      - ./certs:/usr/share/elasticsearch/config/certs
      - ./elasticsearch/data:/usr/share/elasticsearch/data
      - ./elasticsearch/plugins:/usr/share/elasticsearch/plugins
    ports:
      - ${ES_PORT}:9200
    environment:
      - node.name=elasticsearch
      - cluster.name=${CLUSTER_NAME}
      - discovery.type=single-node
      - ELASTIC_PASSWORD=${ELASTIC_PASSWORD}
      - bootstrap.memory_lock=true
      - xpack.security.enabled=true
      - xpack.security.http.ssl.enabled=true
      - xpack.security.http.ssl.key=certs/elasticsearch/elasticsearch.key
      - xpack.security.http.ssl.certificate=certs/elasticsearch/elasticsearch.crt
      - xpack.security.http.ssl.certificate_authorities=certs/ca/ca.crt
      - xpack.security.transport.ssl.enabled=true
      - xpack.security.transport.ssl.key=certs/elasticsearch/elasticsearch.key
      - xpack.security.transport.ssl.certificate=certs/elasticsearch/elasticsearch.crt
      - xpack.security.transport.ssl.certificate_authorities=certs/ca/ca.crt
      - xpack.security.transport.ssl.verification_mode=certificate
      - xpack.license.self_generated.type=${LICENSE}
    mem_limit: ${MEM_LIMIT}
    ulimits:
      memlock:
        soft: -1
        hard: -1
    healthcheck:
      test:
        [
          "CMD-SHELL",
          "curl -s --cacert config/certs/ca/ca.crt https://localhost:9200 | grep -q 'missing authentication credentials'",
        ]
      interval: 10s
      timeout: 10s
      retries: 120
  kibana:
    depends_on:
      elasticsearch:
        condition: service_healthy
    image: docker.elastic.co/kibana/kibana:${STACK_VERSION}
    restart: always
    container_name: kibana
    volumes:
      - ./certs:/usr/share/kibana/config/certs
      - ./kibana/data:/usr/share/kibana/data
    ports:
      - ${KIBANA_PORT}:5601
    environment:
      - SERVERNAME=kibana
      - I18N_LOCALE=zh-CN
      - ELASTICSEARCH_HOSTS=https://elasticsearch:9200
      - ELASTICSEARCH_USERNAME=kibana_system
      - ELASTICSEARCH_PASSWORD=${KIBANA_PASSWORD}
      - ELASTICSEARCH_SSL_CERTIFICATEAUTHORITIES=config/certs/ca/ca.crt
    mem_limit: ${MEM_LIMIT}
    healthcheck:
      test:
        [
          "CMD-SHELL",
          "curl -s -I http://localhost:5601 | grep -q 'HTTP/1.1 302 Found'",
        ]
      interval: 10s
      timeout: 10s
      retries: 120
  filebeat:
    depends_on:
      - kibana
    image: docker.elastic.co/beats/filebeat:${STACK_VERSION}
    restart: always
    container_name: filebeat
    volumes:
      - ./certs:/usr/share/filebeat/config/certs
      - ./filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
      - ./demo:/var/log/filebeat

2.4.编辑filebeat.yml

  • 文件：./filebeat/filebeat.yml
  • 描述：日志采集服务Filebeat的配置文件，其中输入的paths部分要与docker-compose.yml中映射的容器内路径一致，文件名为要采集的日志文件。kibana与elasticsearch的用户密码需与.env文件中配置的一致，输出配置中必须配置"ssl.certificate_authorities"，否则连接会不成功。证书在宿主机certs目录下，已在docker-compose.yml进行挂载，具体配置路径为挂载的容器内的路径。
  • 内容：
# 输入-文件
filebeat.inputs:
- type: filestream
  id: demo-id
  paths:
    # 指定要采集的日志文件名称
    - /var/log/filebeat/demo.log
    
setup:
  # Index lifecycle management
  ilm:
    # 如果设置为true，setup.template.name和setup.template.pattern将被忽略。
    enabled: false
  # Elasticsearch index template
  template:
    settings:
      index:
        # 索引分片数
        number_of_shards: 1
        # 每个分片副本数
        number_of_replicas: 0
    name: "filebeat-%{[agent.version]}"
    pattern: "filebeat-%{[agent.version]}"
  kibana:
    host: "kibana:5601"
    username: "kibana_system"
    password: "aaaaaa"
    
# 输出-Elasticsearch
output.elasticsearch:
  hosts: ["https://elasticsearch:9200"]
  username: "elastic"
  password: "aaaaaa"
  # 配置证书
  ssl.certificate_authorities: ["/usr/share/filebeat/config/certs/ca/ca.crt"]
  index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}"

2.5.编辑demo.log

  • 文件：./demo/demo.log
  • 描述：示例日志信息。
  • 内容：
log1
log2
log3

3.运行使用

3.1.启动

在elastic_stack目录下执行

docker-compose up -d

3.2.运行情况查看

查看Elasticsearch运行情况

docker logs -f -t --tail 200 elasticsearch

查看Kibana运行情况

docker logs -f -t --tail 200 kibana

Kibana打印信息如下：
在这里插入图片描述

查看Filebeat运行情况

docker logs -f -t --tail 200 filebeat

3.3.登录Kibana查看日志采集情况

正确启动后浏览器访问http://部署服务器ip:5601/进入Kibana登录界面。通过.env文件中配置的elastic用户及密码进行登录，本次实践中使用的密码是aaaaaa。
在这里插入图片描述

3.4.查看采集的日志信息

进入日志菜单
在这里插入图片描述

跟踪日志信息
在这里插入图片描述

3.5.执行Elasticsearch查询

进入开发工具
在这里插入图片描述

执行Elasticsearch查询命令，示例中查询的是所有Index信息。
在这里插入图片描述

4.参考资料

主要参考文档地址：

  • https://www.elastic.co/guide/en/elasticsearch/reference/8.9/docker.html
  • https://www.elastic.co/guide/en/kibana/current/docker.html
  • https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html
SHFIRM
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Docker安装Elasticsearch【保姆级教程、内含图解】_docker elasticsearch(1)
m0_60452070的博客
04-16 681
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
Docker搭建ElasticStack8.9.0单节点模式实践日志收集展示的示例
08-08
采用单节点模式，用到了Elasticsearch、Kibana、Filebeat三个组件，版本采用的是ElasticStack8.9.0，安全配置默认激活。 文件内容为docker-compose.yml及ElasticStack所需的配置文件及目录结构，解压至目标目录后，在elastic_stack目录下执行 "chmod g+rwx ./elasticsearch/data && chgrp 0 ./elasticsearch/data && chmod g+rwx ./elasticsearch/plugins && chgrp 0 ./elasticsearch/plugins && chmod g+rwx ./kibana/data && chgrp 0 ./kibana/data" 然后执行"docker-compose up -d"启动 访问地址：http://部署服务器ip:5601/ 用户：elastic 密码：aaaaaa 详细介绍地址：https://blog.csdn.net/asdasdsaff/article/details/132194686
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统
04-30
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
Elasticsearch 8.9 search命令执行查询源码
胖墩的IT博客
12-16 431
一、相关的API的handler1、接收HTTP请求的handler2、往数据节点发送查询请求的action(TransportSearchAction)3、通过transportService把查询请求发送到指定的数据节点二、数据节点收到请求的处理逻辑1、尝试从缓存中加载查询结果2、不通过缓存查询，直接执行查询(1)executeQuery和executeRank两种查询方式(2)、根据搜索上下文，在查询之前添加各种查询搜集器(3) 执行查询操作（遍历此索引在此数据节点所有的分片） 这里只是HTTP发
ELK系列（一） ElasticSearch 8.9.2集群搭建
最新发布
BourneSu的博客
12-29 806
ElasticSearch集群搭建
docker安装ES
热门推荐
菜鸡的博客
10-13 2万+
首先拉取镜像： sudo docker pull elasticsearch:7.12.0 elasticsearch:7.12.0:我安装的版本是7.12.0，可以根据实际的情况安装 创建docker容器挂在的目录： sudo mkdir -p /opt/elasticsearch/config sudo mkdir -p /opt/elasticsearch/data sudo mkdir -p /opt/elasticsearch/plugins 配置文件: echo "http.host: 0
Elastic Search 8.9：与 RRF 的混合搜索、更快的向量搜索和面向公众的搜索端点
Elastic 中国社区官方博客
07-30 2091
Elastic Search 8.9 引入了带有的混合搜索，以结合向量、关键字和语义技术以获得更好的结果。此版本还提高了向量搜索和摄取的性能，响应时间加快了 30% 以上。用户还可以通过新的 SharePoint Online 连接器获得更多摄取选项，其中包括文档级安全性。此外，8.9 还通过搜索应用程序测试版为你的 Elasticsearch® 索引带来了新的公共搜索端点。，这是唯一包含最新版本中所有新功能的托管 Elasticsearch 产品。你还可以。
8.9 SpringBoot集成ElasticSearch之高亮
Steven的博客
01-05 417
1.condition开发 在项目目录“/src/main/java/com/example/es/condition”的EmployeeCondition类中实现SortProvider接口，具体代码如下。 @Data public class EmployeeCondition extends SampleEmployeeCondition implements RoutingProvider, ScoreFunctionProvider,SortProvider, HighlighterProvide
Docker安装ES+kibana8.9.1
u011788214的专栏
08-25 829
Docker安装ES+kibana8.9.1
docker 部署 ES
m0_64344940的博客
12-17 2898
docker 部署 ES
Elastic Stack 8.9：更快的跨集群搜索和指标聚合
Elastic 中国社区官方博客
08-07 669
TElastic Stack 8.9 在多个方面实现了显着的性能改进：Kibana® 中更快的跨集群搜索、Elasticsearch® 更快的聚合，以及更快、更相关的向量搜索（阅读以了解更多信息）。这些性能增强可加速大规模洞察，并使 Elastic® 的矢量搜索成为相关性和速度方面的领导者。此外，还可以利用 Kibana 中的多项增强功能、地理线的简化聚合以及使用 Terraform 从单个位置简化跨集群警报规则的管理。Elastic Stack 8.9 现已在。
Docker安装Elasticsearch和Kibana(单机开发版)
01-07
docker hub elasticsearch tag 这里以安装7.6.0为例 右边有拉取镜像的指令,直接复制,在linux下执行即可拉取镜像 这里镜像已拉取完毕 三.容器运行ES 这里强烈建议按照docker hub的文档来启动,不然会遇到很多坑 ...
详解Docker下使用Elasticsearch可视化Kibana
01-10
Kibana 作为Elasticsearch优秀的可视化的开源分析工具，我们下面使用Docker结合进行最简单的上手演示。 docker 使用教程 在这里我们使用Linux系统作为演示 系统：Fedora28 内核： uname -r 4.16.2-300.fc28....
elk-docker:Elasticsearch，Logstash，Kibana（ELK）Docker映像
04-30
通过打包Elasticsearch，Logstash和Kibana（统称为ELK），此Docker映像提供了一个方便的集中式日志服务器和日志管理Web界面。 文献资料 有关如何使用此映像的完整说明，请参见。 Docker集线器 该映像托管在Docker ...
windows环境下，安装elasticsearch8.9.0
sayyy的专栏
07-27 1446
略
Elasticsearch 8.9 Bulk批量给索引增加数据源码
胖墩的IT博客
11-16 624
下面的图来自，这篇文章主要讲的是客户端发送bulk命令到保存到Lucene和translog的过程源码，不涉及到把数据刷到磁盘的逻辑，也不讲解存储在Lucene的数据结构。
Elasticsearch 8.9 refresh刷Es缓冲区的数据到Lucene，更新segemnt，使数据可见
胖墩的IT博客
12-10 469
下面是lucene源码中关于这两个API的实现，//这个是会尝试获取刷新锁，如果没有则不执行刷新操作try {//这里会等待获取刷新锁，所以会阻塞try {但是实际上最后执行刷新还是执行的方法。
ES(Elasticsearch)的docker安装部署教程
qq_33034733的博客
05-24 1万+
需要手动将docker中的es四个目录同步到宿主机上。1.1 拉取docker镜像。1.2 创建es挂载目录。1.4 桥接网络节点配置。3、logstash部署。1.3 开放防火墙端口。1.5 容器实例启动。2、Kibana部署。
elasticsearch8.9.1集群搭建
haohaounique的博客
08-30 568
xpack.security.enabled: false 默认这个配置是开启的，配置文件中没有，启动后如果正常一般有一堆的安全配置属性也包括这个(xpack.security.enabled: true)，配置就麻烦很多，而且kibana登录时也要配置。elasticsearch文档：https://www.elastic.co/guide/en/elasticsearch/reference/8.9/targz.html。kbana在主节点上下载即可，其他机器可以不用(集群例外)
如何使用docker-compose 部署 ElasticSearch 和 kibana 8.1.3 关闭https 单节点
03-31
以下是使用docker-compose部署ElasticSearch和Kibana 8.1.3并关闭https单节点的步骤： 1. 创建一个名为`docker-compose.yml`的文件，并将以下内容复制到文件中： ``` version: '3.7' services: elasticsearch: ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值