实战篇-Docker 安装ELK(单节点)

最新推荐文章于 2024-06-21 14:09:11 发布
最新推荐文章于 2024-06-21 14:09:11 发布
阅读量905 收藏 26
点赞数 20
分类专栏： ELK Java 文章标签： docker elk jenkins
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43957967/article/details/137074972
版权
Java 同时被 2 个专栏收录
8 篇文章 0 订阅
订阅专栏
ELK
1 篇文章 0 订阅
订阅专栏
本文详细介绍了如何在Docker中部署Elasticsearch8.4.3，配置Kibana和Logstash，并设置了安全特性，包括创建和管理enrollmenttoken。步骤包括创建网络、拉取镜像、运行容器、同步配置和管理凭证。
摘要由CSDN通过智能技术生成

文中的apps目录是在/home/ubuntu目录下

创建docker网络

docker network create -d bridge elastic

拉取elasticsearch 8.4.3版本

docker pull elasticsearch:8.4.3

第一次执行docker脚本

docker run -it \
-p 9200:9200 \
-p 9300:9300 \
--name elasticsearch \
--net elastic \
-e ES_JAVA_OPTS="-Xms1g -Xmx1g" \
-e "discovery.type=single-node" \
-e LANG=C.UTF-8 \
-e LC_ALL=C.UTF-8 \
elasticsearch:8.4.3

注意第一次执行脚本不要加-d这个参数，否则看不到服务首次运行时生成的随机密码和随机 enrollment token

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
✅ Elasticsearch security features have been automatically configured!
✅ Authentication is enabled and cluster connections are encrypted.

ℹ️  Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
  L3WKr6ROTiK_DbqzBr8c

ℹ️  HTTP CA certificate SHA-256 fingerprint:
  5e7d9fe48c485c2761f9e7a99b9d5737e4e34dc55b9bf6929d929fb34d61a11a

ℹ️  Configure Kibana to use this cluster:
• Run Kibana and click the configuration link in the terminal when Kibana starts.
• Copy the following enrollment token and paste it into Kibana in your browser (valid for the next 30 minutes):
  eyJ2ZXIiOiI4LjQuMyIsImFkciI6WyIxNzIuMTkuMC4yOjkyMDAiXSwiZmdyIjoiNWU3ZDlmZTQ4YzQ4NWMyNzYxZjllN2E5OWI5ZDU3MzdlNGUzNGRjNTViOWJmNjkyOWQ5MjlmYjM0ZDYxYTExYSIsImtleSI6Ik4yMGtkSTRCWDZkeG1BS2lMWGtvOlVPenpCN3dYUUlXV2xmcjZhSTNiQncifQ==

ℹ️ Configure other nodes to join this cluster:
• Copy the following enrollment token and start new Elasticsearch nodes with `bin/elasticsearch --enrollment-token <token>` (valid for the next 30 minutes):
  eyJ2ZXIiOiI4LjQuMyIsImFkciI6WyIxNzIuMTkuMC4yOjkyMDAiXSwiZmdyIjoiNWU3ZDlmZTQ4YzQ4NWMyNzYxZjllN2E5OWI5ZDU3MzdlNGUzNGRjNTViOWJmNjkyOWQ5MjlmYjM0ZDYxYTExYSIsImtleSI6Ik9XMGtkSTRCWDZkeG1BS2lMWGtwOmI0Y05razVpUWlPTncwTkMwYWM5akEifQ==

  If you're running in Docker, copy the enrollment token and run:
  `docker run -e "ENROLLMENT_TOKEN=<token>" docker.elastic.co/elasticsearch/elasticsearch:8.4.3`
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

image.png

  • token

eyJ2ZXIiOiI4LjQuMyIsImFkciI6WyIxNzIuMTkuMC4yOjkyMDAiXSwiZmdyIjoiNWU3ZDlmZTQ4YzQ4NWMyNzYxZjllN2E5OWI5ZDU3MzdlNGUzNGRjNTViOWJmNjkyOWQ5MjlmYjM0ZDYxYTExYSIsImtleSI6Ik9XMGtkSTRCWDZkeG1BS2lMWGtwOmI0Y05razVpUWlPTncwTkMwYWM5akEifQ==

创建相应目录并复制配置文件到主机

 mkdir -p apps/elk8.4.3/elasticsearch
# 这个cp命令是在 /home/ubuntu目录下执行的
docker cp elasticsearch:/usr/share/elasticsearch/config apps/elk8.4.3/elasticsearch/

docker cp elasticsearch:/usr/share/elasticsearch/data apps/elk8.4.3/elasticsearch/

docker cp elasticsearch:/usr/share/elasticsearch/plugins apps/elk8.4.3/elasticsearch/

docker cp elasticsearch:/usr/share/elasticsearch/logs apps/elk8.4.3/elasticsearch/

删除容器

docker rm -f elasticsearch

修改apps/elk8.4.3/elasticsearch/config/elasticsearch.yml

vim apps/elk8.4.3/elasticsearch/config/elasticsearch.yml

添加

增加：xpack.monitoring.collection.enabled: true
说明：添加这个配置以后在kibana中才会显示联机状态，否则会显示脱机状态

启动elasticsearch

docker run -it \
-d \
-p 9200:9200 \
-p 9300:9300 \
--name elasticsearch \
--net elastic \
-e ES_JAVA_OPTS="-Xms1g -Xmx1g" \
-e "discovery.type=single-node" \
-e LANG=C.UTF-8 \
-e LC_ALL=C.UTF-8 \
-v /home/ubuntu/apps/elk8.4.3/elasticsearch/config:/usr/share/elasticsearch/config \
-v /home/ubuntu/apps/elk8.4.3/elasticsearch/data:/usr/share/elasticsearch/data \
-v /home/ubuntu/apps/elk8.4.3/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-v /home/ubuntu/apps/elk8.4.3/elasticsearch/logs:/usr/share/elasticsearch/logs \
elasticsearch:8.4.3

启动验证

https://xxxxx:9200/

  • 用户名:elastic
  • 密码在第一次启动时保存下来的信息中查找

Kibana

安装Kibana

docker pull kibana:8.4.3

启动Kibana

docker run -it \
--restart=always \
--log-driver json-file \
--log-opt max-size=100m \
--log-opt max-file=2 \
--name kibana \
-p 5601:5601 \
--net elastic \
kibana:8.4.3

image.png

初始化Kibana鉴权凭证

http://xxxx:5601/?code=878708

image.png

在textarea中填入之前elasticsearch生成的相关信息,注意这个token只有30分钟的有效期，如果过期了只能进入容器重置token,进入容器执行 /bin/elasticsearch-create-enrollment-token -s kibana --url “https://127.0.0.1:9200”

输入完token后出现以下界面：
image.png

同时服务端会打印出相关的log如图：
image.png

kibana验证

将服务端的log中输出的验证码输入到浏览器中，我这里是628503

创建kibana目录并copy相关配置信息

mkdir apps/elk8.4.3/kibana
# 这个cp命令是在 /home/ubuntu目录下执行的
docker cp kibana:/usr/share/kibana/config apps/elk8.4.3/kibana/


docker cp kibana:/usr/share/kibana/data apps/elk8.4.3/kibana/

docker cp kibana:/usr/share/kibana/plugins apps/elk8.4.3/kibana/

docker cp kibana:/usr/share/kibana/logs apps/elk8.4.3/kibana/

sudo chown -R 1000:1000 apps/elk8.4.3/kibana

修改apps/elk8.4.3/kibana/config/kibana.yml

### >>>>>>> BACKUP START: Kibana interactive setup (2024-03-25T07:30:11.689Z)

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
#server.host: "0.0.0.0"
#server.shutdownTimeout: "5s"
#elasticsearch.hosts: [ "http://elasticsearch:9200" ]
#monitoring.ui.container.elasticsearch.enabled: true
### >>>>>>> BACKUP END: Kibana interactive setup (2024-03-25T07:30:11.689Z)

# This section was automatically generated during setup.
i18n.locale: "zh-CN"
server.host: 0.0.0.0
server.shutdownTimeout: 5s
# #这个ip一定是elasticsearch的容器ip，可使用docker inspect | grep -i ipaddress
elasticsearch.hosts: ['https://172.19.0.2:9200']
monitoring.ui.container.elasticsearch.enabled: true
elasticsearch.serviceAccountToken: AAEAAWVsYXN0aWMva2liYW5hL2Vucm9sbC1wcm9jZXNzLXRva2VuLTE3MTEzNTE4MTA5NDM6ZHZ1R3M5cV9RRlc2NmQ3dE9WaWM0QQ
elasticsearch.ssl.certificateAuthorities: [/usr/share/kibana/data/ca_1711351811685.crt]
xpack.fleet.outputs: [{id: fleet-default-output, name: default, is_default: true, is_default_monitoring: true, type: elasticsearch, hosts: ['https://172.19.0.2:9200'], ca_trusted_fingerprint: 5e7d9fe48c485c2761f9e7a99b9d5737e4e34dc55b9bf6929d929fb34d61a11a}]

删除容器并重启

docker rm -f kibana

docker run -it \
-d \
--restart=always \
--log-driver json-file \
--log-opt max-size=100m \
--log-opt max-file=2 \
--name kibana \
-p 5601:5601 \
--net elastic \
-v /home/ubuntu/apps/elk8.4.3/kibana/config:/usr/share/kibana/config \
-v /home/ubuntu/apps/elk8.4.3/kibana/data:/usr/share/kibana/data \
-v /home/ubuntu/apps/elk8.4.3/kibana/plugins:/usr/share/kibana/plugins \
-v /home/ubuntu/apps/elk8.4.3/kibana/logs:/usr/share/kibana/logs \
kibana:8.4.3

Logstash

Logstash拉取镜像

docker pull logstash:8.4.3

启动

docker run -it \
-d \
--name logstash \
-p 9600:9600 \
-p 5044:5044 \
--net elastic \
logstash:8.4.3

创建目录并同步配置文件

mkdir apps/elk8.4.3/logstash

# 这个cp命令是在 /home/ubuntu目录下执行的
docker cp logstash:/usr/share/logstash/config apps/elk8.4.3/logstash/ 
docker cp logstash:/usr/share/logstash/pipeline apps/elk8.4.3/logstash/ 

sudo cp -rf apps/elk8.4.3/elasticsearch/config/certs apps/elk8.4.3/logstash/config/certs

sudo chown -R 1000:1000 apps/elk8.4.3/logstash

修改配置apps/elk8.4.3/logstash/config/logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: [ "http://172.19.0.2:9200" ]
xpack.monitoring.elasticsearch.username: "elastic"
# 第一次启动elasticsearch是保存的信息中查找 L3WKr6ROTiK_DbqzBr8c
xpack.monitoring.elasticsearch.password: "L3WKr6ROTiK_DbqzBr8c"
xpack.monitoring.elasticsearch.ssl.certificate_authority: "/usr/share/logstash/config/certs/http_ca.crt"
# 第一次启动elasticsearch是保存的信息中查找 5e7d9fe48c485c2761f9e7a99b9d5737e4e34dc55b9bf6929d929fb34d61a11a
xpack.monitoring.elasticsearch.ssl.ca_trusted_fingerprint: "5e7d9fe48c485c2761f9e7a99b9d5737e4e34dc55b9bf6929d929fb34d61a11a"

修改配置apps/elk8.4.3/logstash/pipeline/logstash.conf

input {
  beats {
    port => 5044
  }
}


filter {
  date {
        # 因为我的日志里，我的time字段格式是2024-03-14T15:34:03+08:00 ，所以要使用以下两行配置
        match => [ "time", "ISO8601" ]
        target => "@timestamp"
  }
  json {
    source => "message"
  }
  mutate {
    remove_field => ["message", "path", "version", "@version", "agent", "cloud", "host", "input", "log", "tags", "_index", "_source", "ecs", "event"]
  }
}


output {
  elasticsearch {
    hosts => ["https://172.18.0.2:9200"]
    index => "douyin-%{+YYYY.MM.dd}"
    ssl => true
    ssl_certificate_verification => false
    cacert => "/usr/share/logstash/config/certs/http_ca.crt"
    ca_trusted_fingerprint => "第一次启动elasticsearch是保存的信息中查找e924551c1453c893114a05656882eea81cb11dd87c1258f83e6f676d2428f8f2"
    user => "elastic"
    password => "第一次启动elasticsearch是保存的信息中查找UkNx8px1yrMYIht30QUc"
  }
}

删除容器并重新启动

docker rm -f logstash

docker run -it \
-d \
--name logstash \
-p 9600:9600 \
-p 5044:5044 \
--net elastic \
-v /home/ubuntu/apps/elk8.4.3/logstash/config:/usr/share/logstash/config \
-v /home/ubuntu/apps/elk8.4.3/logstash/pipeline:/usr/share/logstash/pipeline \
logstash:8.4.3

Filebeat

Filebeat拉取镜像

sudo docker pull elastic/filebeat:8.4.3

FileBeat启动

docker run -it \
-d \
--name filebeat \
--network host \
-e TZ=Asia/Shanghai \
elastic/filebeat:8.4.3 \
filebeat -e  -c /usr/share/filebeat/filebeat.yml

如有问题，欢迎加微信交流：w714771310，备注- 技术交流 。或微信搜索【码上遇见你】。

免费的Chat GPT可微信搜索【AI贝塔】进行，无限使用。

好了，本章节到此告一段落。希望对你有所帮助，祝学习顺利。

_派大星
关注
  • 20
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于 Docker 的 ELK 高可用集群架构
RAB
06-26 1613
ELK 高可用集群架构部署。
docker搭建ELK日志采集并查询日志
weixin_41961922的博客
03-19 1089
docker安装ELK日志采集并数据的查询，集成到springboot中进行数据获取
Docker安装ELK
最新发布
qq_24592455的博客
06-21 313
centOS7.8。
Docker容器搭建ELK日志分析系统
weixin_73059729的博客
06-04 583
如果报错了可以直接问就好，包解决，Docker容器搭建ELK日志分析系统。
docker安装elk（Elasticsearch+logstash+kibana）
赵玉的专栏
01-17 1276
有关如何使用Filebeat的详细信息，请参阅官方文档：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-getting-started.html。您可以按照官方文档进行安装：https://docs.docker.com/engine/installation/这将将主机上的“/path/to/logstash.conf”文件挂载到容器中的“/etc/logstash/conf.d/logstash.conf”路径下。
Docker安装elk
qq_50661854的博客
07-11 1431
实现docker安装elk
docker安装ELK详细步骤
上善若水
10-21 2753
elk 安装
Docker环境下，如何搭建ELK堆栈？详细教程和使用分析
Dark_orange的博客
02-23 1113
通过使用Docker和ELK堆栈，我们可以快速、轻松地搭建一个功能强大的日志分析平台。在本文中，我们学习了如何创建一个Docker Compose文件来定义ELK堆栈中的各种服务，并了解了如何使用Logstash配置文件将日志数据发送到Elasticsearch中。我们还学习了如何使用Kibana界面来可视化和分析日志数据，并了解了如何使用各种过滤器和查询来过滤和搜索日志数据。希望这篇文章能够帮助您快速入门ELK堆栈和日志分析领域。
docker安装elk6.7.1-搜集java日志
07-09
Docker 安装 ELK 6.7.1-搜集 Java 日志 在本文中，我们将学习如何使用 Docker 安装 ELK 6.7.1，搜集 Java 日志。ELK（Elasticsearch、Logstash、Kibana）是一种流行的日志管理解决方案，广泛应用于大数据环境中。...
使用Docker搭建ELK日志系统的方法示例
01-10
以下安装都是以 ~/ 目录作为安装根目录。 ElasticSearch 下载镜像： $ sudo docker pull elasticsearch:5.5.0 运行ElasticSearch容器： $ sudo docker run -it -d -p 9200:9200 -p 9300:9300 \ -v ~/elasticsearch/data:/usr/share/elasticsearch/data \ --name myes elasticsearch:5.5.0 特别注意的是如果使用v6以上版本会出现jdk的错误，我们查看日志 $ docker logs -f myes
k8s-1.14.2-kubeadmin安装k8s
06-28
4. **docker19.03-ce_lixian.tar.gz**：这是Docker的tar归档文件，用于在节点上安装Docker引擎。Docker是k8s的基础，因为它提供了容器化应用的运行时环境。确保所有节点上的Docker版本一致且与k8s版本兼容至关重要。...
ELK+kafaka日志集群项目.zip
08-09
《ELK+kafka日志集群项目：运维实战详解》 ELK+kafka日志集群是现代企业级日志管理和分析的常见解决方案，它结合了Elasticsearch（存储和搜索）、Logstash（数据收集与处理）、Kibana（数据可视化）以及Kafka（消息...
分布式技术原理与实战45讲.zip
11-18
在这个45讲的系列中，我们将深入探讨分布式系统的基石、设计模式以及实战应用，帮助你掌握分布式技术的核心知识。 1. **分布式系统基础**： - 分布式系统的定义：分布式系统是由多台独立的计算机通过网络互相连接...
docker安装ELK
因为不想回家，所以还是去搬砖。
07-17 2082
参考：https://www.cnblogs.com/soar1688/p/6849183.html 一、简介 1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。   Log...
在Docker上搭建ELK+Filebeat日志中心
Free雅轩的博客
10-29 258
这儿仅仅给大家做了一个演示，要在生产环境中部署时，还需使用数据卷进行数据持久化，容器内存问题也需考虑，elasticsearch与logstash都是相对吃内存的，如果不加以限制，很可能会拖垮你整个服务器。#填写实际情况elasticsearch的访问IP，因为是跨容器间的访问，使用内网、公网IP，不要填写127.0.0.1|localhost。Logstash 是一个具有实时渠道能力的数据收集引擎，主要用于日志的收集与解析，并将其存入 ElasticSearch中。
使用docker安装elk
weixin_43900374的博客
08-22 829
docker安装elk之前要先安装docker-compose，而按照docker-compose之前要先安装pip，而按照pip可以直接按照python，因为python自带pip，omg，这都是我看在网上一步步总结过来的相对完整又简单的使用docker安装elk
docker -compose 安装 ELK
09-20
docker-compose安装ELK可以按照以下步骤进行操作： 1. 首先，确保系统已经安装了Docker和Docker Compose。如果没有安装，请先按照相关文档进行安装。 2. 接下来，创建一个目录，用于存放ELK的配置文件和数据。例如，可以使用以下命令创建一个名为elk的目录： ``` mkdir elk cd elk ``` 3. 在elk目录中，创建一个docker-compose.yml文件，并使用任何文本编辑器打开该文件。 4. 在docker-compose.yml文件中，添加以下内容： ``` version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2 container_name: elasticsearch environment: - discovery.type=single-node ports: - 9200:9200 - 9300:9300 volumes: - ./data:/usr/share/elasticsearch/data kibana: image: docker.elastic.co/kibana/kibana:7.10.2 container_name: kibana ports: - 5601:5601 depends_on: - elasticsearch ``` 这将创建两个服务：elasticsearch和kibana。elasticsearch服务将运行Elasticsearch容器，并将端口9200映射到主机的9200端口，端口9300映射到主机的9300端口。kibana服务将运行Kibana容器，并将端口5601映射到主机的5601端口。同时，kibana服务依赖elasticsearch服务。 5. 保存并关闭docker-compose.yml文件。 6. 使用以下命令在后台运行ELK容器： ``` docker-compose up -d ``` 这将下载并启动ELK容器。稍等片刻，容器启动后，您可以通过访问http://localhost:5601来访问Kibana的Web界面，以开始使用ELK。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值