基于 Docker 的 ELK 高可用集群架构

已于 2023-10-05 13:02:05 修改
阅读量2.2k 收藏 24
点赞数 2
分类专栏： ELK 文章标签： docker elk 架构
于 2022-06-26 09:24:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_ZRS/article/details/125466805
版权

目录

一、规划

1.1 主机规划

ServiceVersion角色
192.168.56.133 - 2C/2G 30G - es-16.8.23ES集群
192.168.56.134 - 2C/2G 30G - es-2--
192.168.56.135 - 2C/2G 30G - es-3--
192.168.56.137 - 2C/2G 30G - kafka-1 zookeeper-13.7.1消息队列
192.168.56.138 - 2C/2G 30G - kafka-2 zookeeper-2--
192.168.56.139 - 2C/2G 30G - kafka-3 zookeeper-3--
192.168.56.140 - 1C/2G 30G - logstash-16.8.23logstash分流
192.168.56.141 - 1C/2G 30G - logstash-2--
192.168.56.136 - 2C/2G 30G - kabana - head - nginx6.8.23web前端展示
192.168.56.136 - 2C/2G 30G - kabana--

整体思路：

1、三台服务器做 ES 集群；

2、三台服务器做 Kafka 集群；

3、两台或多台服务器做 Logstash 分流；

4、两台 Kibana 做负载均衡。

1.2 整体架构

image-20220626085537211

应用场景：适用于高并发场景。

二、部署

2.1 ES 集群

1、安装docker

执行安装脚本，有需要安装脚本的朋友可私我。

2、创建 ES 相关目录

mkdir -p /data/elasticsearch/data
mkdir -p /data/elasticsearch/logs
mkdir -p /data/elasticsearch/plugins
mkdir -p /data/elasticsearch/config/

3、任意一个 ES 节点运行一个es临时容器，拷贝配置文件

docker run -itd \
--name=tmp \
-e ES_JAVA_OPTS="-Xms512m -Xmx512m" \
-e "discovery.type=single-node" \
elasticsearch:6.8.20

docker cp tmp:/usr/share/elasticsearch /data/

# 直接复制ES的工作目录到本地进行持久化，后面运行容器时就使用该目录来做映射。

4、修改 ES 配置文件

  • es-1

    elasticsearch.yml

    # cluster.name 三者需相同
cluster.name: es-cluster
# node.name 节点名，设置与主机名一致即可
node.name: es-1
# node.master 符合成为主节点的条件
node.master: true
# node.data 符合成为数据节点的条件
node.data: true
# path.data 数据存储路径（下面会进行创建）
path.data: /data/elasticsearch/data
# path.logs 日志存储路径（下面会进行创建）
path.logs: /data/elasticsearch/logs
# bootstrap.memory_lock 锁住内存，即只使用内存，不使用交换分区
bootstrap.memory_lock: true
# network.host 允许所有IP访问
network.host: 0.0.0.0
# network.publish_host 集群节点交互IP（docker方式的部署填写公网IP）
# docker 方式部署的需指定 network.publish_host，否则无法访问集群
network.publish_host: 192.168.56.133
# http.port web访问端口
http.port: 9200
# discovery.zen.ping.unicast.hosts 关闭单播
discovery.zen.ping.unicast.hosts: ["192.168.56.133", "192.168.56.134", "192.168.56.135"]
# discovery.zen.minimum_master_nodes 指定master备选数（N/2+1）取整，N为集群节点数
discovery.zen.minimum_master_nodes: 2
# discovery.zen.ping_timeout 节点在发现过程中的等待超时时间
#discovery.zen.ping_timeout: 120s
# discovery.zen.fd.ping_retries 节点发现重试次数
#discovery.zen.fd.ping_retries: 10
# client.transport.ping_timeout  ping命令的响应超时时间
#client.transport.ping_timeout: 60s
# 解决跨域问题
http.cors.enabled: true
http.cors.allow-origin: "*"

    jvm.options（这里主要配置一下 JVM 堆大小）

    ## JVM configuration

################################################################
## IMPORTANT: JVM heap size
################################################################
##
## You should always set the min and max JVM heap
## size to the same value. For example, to set
## the heap to 4 GB, set:
##
## -Xms4g
## -Xmx4g
##
## See https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html
## for more information
##
################################################################

# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space

-Xms512m
-Xmx512m

################################################################
## Expert settings
################################################################
##
## All settings below this section are considered
## expert settings. Don't tamper with them unless
## you understand what you are doing
##
################################################################

## GC configuration
8-13:-XX:+UseConcMarkSweepGC
8-13:-XX:CMSInitiatingOccupancyFraction=75
8-13:-XX:+UseCMSInitiatingOccupancyOnly

## G1GC Configuration
# NOTE: G1 GC is only supported on JDK version 10 or later
# to use G1GC, uncomment the next two lines and update the version on the
# following three lines to your version of the JDK
# 10-13:-XX:-UseConcMarkSweepGC
# 10-13:-XX:-UseCMSInitiatingOccupancyOnly
14-:-XX:+UseG1GC
14-:-XX:G1ReservePercent=25
14-:-XX:InitiatingHeapOccupancyPercent=30

## DNS cache policy
# cache ttl in seconds for positive DNS lookups noting that this overrides the
# JDK security property networkaddress.cache.ttl; set to -1 to cache forever
-Des.networkaddress.cache.ttl=60
# cache ttl in seconds for negative DNS lookups noting that this overrides the
# JDK security property networkaddress.cache.negative ttl; set to -1 to cache
# forever
-Des.networkaddress.cache.negative.ttl=10

## optimizations

# pre-touch memory pages used by the JVM during initialization
-XX:+AlwaysPreTouch

## basic

# explicitly set the stack size
-Xss1m

# set to headless, just in case
-Djava.awt.headless=true

# ensure UTF-8 encoding by default (e.g. filenames)
-Dfile.encoding=UTF-8

# use our provided JNA always versus the system one
-Djna.nosys=true

# turn off a JDK optimization that throws away stack traces for common
# exceptions because stack traces are important for debugging
-XX:-OmitStackTraceInFastThrow

# enable helpful NullPointerExceptions (https://openjdk.java.net/jeps/358), if
# they are supported
14-:-XX:+ShowCodeDetailsInExceptionMessages

# flags to configure Netty
-Dio.netty.noUnsafe=true
-Dio.netty.noKeySetOptimization=true
-Dio.netty.recycler.maxCapacityPerThread=0

# log4j 2
-Dlog4j.shutdownHookEnabled=false
-Dlog4j2.disable.jmx=true
-Dlog4j2.formatMsgNoLookups=true

-Djava.io.tmpdir=${ES_TMPDIR}

## heap dumps

# generate a heap dump when an allocation from the Java heap fails
# heap dumps are created in the working directory of the JVM
-XX:+HeapDumpOnOutOfMemoryError

# specify an alternative path for heap dumps; ensure the directory exists and
# has sufficient space
-XX:HeapDumpPath=data

# specify an alternative path for JVM fatal error logs
-XX:ErrorFile=logs/hs_err_pid%p.log

## JDK 8 GC logging

8:-XX:+PrintGCDetails
8:-XX:+PrintGCDateStamps
8:-XX:+PrintTenuringDistribution
8:-XX:+PrintGCApplicationStoppedTime
8:-Xloggc:logs/gc.log
8:-XX:+UseGCLogFileRotation
8:-XX:NumberOfGCLogFiles=32
8:-XX:GCLogFileSize=64m

# JDK 9+ GC logging
9-:-Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m
# due to internationalization enhancements in JDK 9 Elasticsearch need to set the provider to COMPAT otherwise
# time/date parsing will break in an incompatible way for some date patterns and locals
9-:-Djava.locale.providers=COMPAT

# temporary workaround for C2 bug with JDK 10 on hardware with AVX-512
10-:-XX:UseAVX=2

  • es-2

    同es-1，唯一不同的是 node.name 和 network.publish_host
node.name: es-2
network.publish_host: 192.168.56.134

  • es-3

    同es-1，唯一不同的是 node.name 和 network.publish_host
node.name: es-3
network.publish_host: 192.168.56.135

5、运行容器

  • es-1

    docker run -it \
--name=es-1 \
--privileged=true \
--restart=always \
--net=host \
-v /etc/localtime:/etc/localtime \
-v /data/elasticsearch:/usr/share/elasticsearch \
-d elasticsearch:6.8.23

  • es-2

    docker run -it \
--name=es-2 \
--privileged=true \
--restart=always \
--net=host \
-v /etc/localtime:/etc/localtime \
-v /data/elasticsearch:/usr/share/elasticsearch \
-d elasticsearch:6.8.23

  • es-3

    docker run -it \
--name=es-3 \
--privileged=true \
--restart=always \
--net=host \
-v /etc/localtime:/etc/localtime \
-v /data/elasticsearch:/usr/share/elasticsearch \
-d elasticsearch:6.8.23

es-head 插件安装看 2.8 小节

通过 head 插件查看集群状态：

image-20220622233940503

通过 URL 查看集群状态：

浏览器输入 URL 查看集群状态：http://192.168.56.133:9200/_cat/nodes?pretty

标 * 的代表 master（下图与上图不一致，是因为这张图是在我做模拟故障转移时截的）

image-20220623161419031

6、配置 ES 集群证书

  1. 先保证在没有使用证书的情况下，ES 集群是正常运行的，然后再配置 ES 集群证书；

  2. 在任意 ES 集群节点上生成集群证书（本次我在 es-1 节点）；

  3. 证书生成完毕之后，再将对应证书 copy 到其他节点的 config 目录下；

  4. 重启 ES 集群，此时保证集群正常运行，如果此时集群正常，说明集群间已经通过密钥方式通信；

  5. 然后创建 ES 集群的用户名/密码（在任意 ES 集群节点上执行即可，因为集群会同步状态）；

  6. 启用 ES 集群证书的目：数据安全、防止其他 ES 节点恶意并入集群。

docker exec -it es-1 bash
./bin/elasticsearch-certutil ca

# 会在当前目录生产elastic-stack-ca.p12证书文件

image-20220624141418370

为集群中的每个节点生成证书和私钥：

./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

image-20220624142040376

复制证书文件到其他节点：

scp elastic-* es-2:/data/elasticsearch/config/
scp elastic-* es-3:/data/elasticsearch/config/

接着修改 ES 集群配置文件：

# cluster.name 三者需相同
cluster.name: es-cluster
# node.name 节点名，设置与主机名一致即可
node.name: es-1
# node.master 符合成为主节点的条件
node.master: true
# node.data 符合成为数据节点的条件
node.data: true
# path.data 数据存储路径（下面会进行创建）
path.data: /data/elasticsearch/data
# path.logs 日志存储路径（下面会进行创建）
path.logs: /data/elasticsearch/logs
# bootstrap.memory_lock 锁住内存，即只使用内存，不使用交换分区
bootstrap.memory_lock: true
# network.host 允许所有IP访问
network.host: 0.0.0.0
# network.publish_host 集群节点交互IP（docker方式的部署填写公网IP）
# docker 方式部署的需指定 network.publish_host，否则无法访问集群
network.publish_host: 192.168.56.133
# http.port web访问端口
http.port: 9200
# discovery.zen.ping.unicast.hosts 关闭单播
discovery.zen.ping.unicast.hosts: ["192.168.56.133", "192.168.56.134", "192.168.56.135"]
# discovery.zen.minimum_master_nodes 指定master备选数（N/2+1）取整，N为集群节点数
discovery.zen.minimum_master_nodes: 2
# discovery.zen.ping_timeout 节点在发现过程中的等待超时时间
#discovery.zen.ping_timeout: 120s
# discovery.zen.fd.ping_retries 节点发现重试次数
#discovery.zen.fd.ping_retries: 10
# client.transport.ping_timeout  ping命令的响应超时时间
#client.transport.ping_timeout: 60s
# 解决跨域问题
http.cors.enabled: true
http.cors.allow-origin: "*"
# Auth
xpack.security.transport.ssl.enabled: true
xpack.security.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

重启 ES 集群：

docker restart es-1
docker restart es-2
docker restart es-3

新增用户名、密码：

任意一台 ES 集群节点上执行即可，执行结果会同步到整个 ES 集群

./bin/elasticsearch-setup-passwords interactive

# 我的密码为123456

image-20220624155056881

Changed password for user [apm_system]
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [remote_monitoring_user]
Changed password for user [elastic]

上面的用户名密码在任意一台 ES 集群服务器上执行就行，密码会被更新到集群中，就算你在其他节点设置密码也是会报错的，而且会提示你，强一致性密码已经更新至集群，如下所示：

image-20220624155456231

2.2 Logstash 分流

Logstash 作为插件，二进制安装即可，因为容器运行，每次在数据采集的时候都要删除容器，在运行容器，很麻烦。

1、下载镜像

docker pull logstash:6.8.23

2、运行临时容器，并拷贝配置文件

docker run -d --name=tmp ogstash:6.8.23
docker cp tmp:/usr/share/logstash /data/

3、创建配置文件并授权

mkdir /data/logstash/config/conf.d
chmod 777 -R /data/logstash

4、启动容器

docker run -d \
  --name=logstash \
  --privileged=true \
  --restart=always \
  -p 5044:5044 \
  -v /etc/localtime:/etc/localtime \
  -v /data/logstash:/usr/share/logstash \
  -v /data/nginx/logs/access.log:/data/nginx/logs/access.log \
  logstash:6.8.23

二进制安装

1、JDK 环境

上面有安装步骤

2、解压

tar xzf logstash-6.8.23.tar.gz -C /data/
mv /data/logstash-6.8.23/ /data/logstash

3、创建配置文件目录

mkdir /data/logstash/config/conf.d

4、编写配置文件

vim /data/logstash/config/conf.d/all.conf

input{
    file{
        path => ["/data/nginx/logs/access.log"]
        type => "nginx_access"
        start_position => "beginning"
    }
}
input{
    file{
        path => ["/var/log/messages"]
        type => "system_error"
        start_position => "beginning"
    }
}
output{
    if [type] ==  "nginx_access" {
        elasticsearch {
            hosts => ["192.168.56.133:9200","192.168.56.134:9200","192.168.56.135:9200"] 
            index => ["%{type}-%{+YYYY.MM.dd}"]
        }    
    }
    if [type] ==  "system_error" {
        elasticsearch {
            hosts => ["192.168.56.133:9200","192.168.56.134:9200","192.168.56.135:9200"] 
            index => ["%{type}-%{+YYYY.MM.dd}"]
        }    
    }
}

# 前台启动
/data/logstash/bin/logstash -f /data/logstash/config/conf.d/ --config.reload.automatic

# 后台启动
nohup /data/logstash/bin/logstash -f /data/logstash/config/conf.d/ --config.reload.automatic &

# --config.reload.automatic：可以加载conf.d 目录下的所有.conf文件
# 想要单独加载的话，则去掉--config.reload.automatic参数，并指定具体的 .conf 文件

5、集群验证

image-20220623102312200

2.3 Kibana 前端展示

1、安装 es-head 插件

docker run -d \
  --name=es-head \
  --privileged=true \
  --restart=always \
  -v /etc/localtime:/etc/localtime \
  -p 9100:9100 \
  docker.io/mobz/elasticsearch-head:5-alpine

2、安装 Kibana

# 运行临时容器
docker run -itd --name=tmp kibana:6.8.23

# 拷贝相关目录
docker cp tmp:/usr/share/kibana /data/

# 授权
chmod 777 -R /data/kibana/*

3、修改配置文件

# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://192.168.56.133:9200","http://192.168.56.134:9200","http://192.168.56.135:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
#kibana.index: ".kibana"
i18n.locale: "zh-CN"
elasticsearch.username: "kibana"
elasticsearch.password: "123456"
#xpack.reporting.encryptionKey: "a_random_string"
#xpack.security.encryptionKey: "something_at_least_32_characters"

4、启动新容器

docker run -d \
    --restart=always \
    --privileged=true \
    --name=kibana \
	-p 5601:5601 \
	-v "/data/kibana:/usr/share/kibana" \
	-v /etc/localtime:/etc/localtime \
	kibana:6.8.23

5、访问验证

http://192.168.56.136:5601/

输入账号密码：

image-20220624155844791

然后就会进入登录页面。

image-20220623123020509

上图是我之前截的图，当时没有设置 ES 集群密码强一致性验证，设置之后你会发现管理菜单下会多出一个安全性，用户/角色

image-20220624160113968

2.4 Nginx 反向代理

1、安装 Nginx

# 看6.2.4
docker run -itd \
    --name=nginx \
    --privileged=true \
    --restart=always \
    --net=host \
    -v /etc/localtime:/etc/localtime \
    -v /data/nginx/conf/nginx.conf:/etc/nginx/nginx.conf \
    -v /data/nginx/conf/conf.d:/etc/nginx/conf.d \
    -v /data/nginx/html:/usr/share/nginx/html \
    -v /data/nginx/logs:/var/log/nginx nginx:1.20.2

2、反向代理

server {
    listen       80;
    server_name  192.168.56.136;

    # kibana前端展示
    location / {
        root  html;
        proxy_pass http://192.168.56.136:5601/;
    }

    # es-head插件
    location /head/ {
        proxy_pass http://192.168.56.136:9100/;
    }    

    # Kafka-Manager可视化管理
    location /manager/ {
        proxy_redirect off;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://192.168.56.136:9000/;
    }
}

2.5 Zookeeper 集群

1、pull 镜像

docker pull zookeeper:3.7.1

2、创建对应目录

mkdir -p /data/zookeeper/conf
mkdir -p /data/zookeeper/data
mkdir -p /data/zookeeper/datalog
mkdir -p /data/zookeeper/logs

# 配置文件路径：/data/zookeeper/conf
# 数据存储路径：/data/zookeeper/data
# 数据日志存储路径：/data/zookeeper/datalog
# 日志存储路径：/data/zookeeper/logs

3、创建配置文件

三个节点均添加

dataDir=/data
dataLogDir=/datalog
quorumListenOnAllIPs=true
clientPort=2181 
tickTime=2000 
initLimit=20 
syncLimit=10 
server.1=192.168.56.137:2888:3888;2181
server.2=192.168.56.138:2888:3888;2181
server.3=192.168.56.139:2888:3888;2181

# 端口说明：
# 2181：对Client端提供服务的端口（可自定义）
# 2888：选举Leader的端口（可自定义）
# 3888：集群内部通信端口（可自定义）

4、启动 ZK 集群

zk-1 部署于 kafka-1 服务器上

zk-2 部署于 kafka-2 服务器上

zk-3 部署于 kafka-3 服务器上

# zk-1
docker run -d \
   --restart=always \
   --name=zk-1 \
   --privileged=true \
   --net=host \
   -e ZOO_MY_ID=1 \
   -v /data/zookeeper/conf/zoo.cfg:/conf/zoo.cfg \
   -v /data/zookeeper/data:/data \
   -v /data/zookeeper/datalog:/datalog \
   -v /data/zookeeper/logs:/logs \
   -v /etc/localtime:/etc/localtime \
   zookeeper:3.7.1
   
# zk-2
docker run -d \
   --restart=always \
   --name zk-2 \
   --privileged=true \
   --net=host \
   -e ZOO_MY_ID=2 \
   -v /data/zookeeper/conf/zoo.cfg:/conf/zoo.cfg \
   -v /data/zookeeper/data:/data \
   -v /data/zookeeper/datalog:/datalog \
   -v /data/zookeeper/logs:/logs \
   -v /etc/localtime:/etc/localtime \
   zookeeper:3.7.1
   
# zk-3
docker run -d \
   --restart=always \
   --name zk-3 \
   --privileged=true \
   --net=host \
   -e ZOO_MY_ID=3 \
   -v /data/zookeeper/conf/zoo.cfg:/conf/zoo.cfg \
   -v /data/zookeeper/data:/data \
   -v /data/zookeeper/datalog:/datalog \
   -v /data/zookeeper/logs:/logs \
   -v /etc/localtime:/etc/localtime \
   zookeeper:3.7.1

5、查看集群选举情况

看到 leader 为 zk-2，只要其中某一台服务器挂了，剩余两者会进行 leader 选举。

[root@kafka-1 ~]# docker exec -it zk-1 bash
root@kafka-1:/apache-zookeeper-3.7.1-bin# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

[root@kafka-2 ~]# docker exec -it zk-2 bash
root@kafka-2:/apache-zookeeper-3.7.1-bin# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader

[root@kafka-3 ~]# docker exec -it zk-3 bash
root@kafka-3:/apache-zookeeper-3.7.1-bin# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

至此，ZK 集群部署完毕！

2.6 Kafka 集群

1、pull 镜像

docker pull bitnami/kafka:3.1.1

2、运行容器

# kafka-1
docker run -d \
    --name=kafka-1 \
    --restart=always \
    --privileged=true \
    --net=host \
    -e KAFKA_BROKER_ID=1 \
    -e KAFKA_ZOOKEEPER_CONNECT="192.168.56.137:2181,192.168.56.138:2181,192.168.56.139:2181" \
    -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.137:9092 \
    -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
    -e ALLOW_PLAINTEXT_LISTENER=yes \
    -v /etc/localtime:/etc/localtime \
    -t bitnami/kafka:3.1.1

# kafka-2
docker run -d \
    --name=kafka-2 \
    --restart=always \
    --privileged=true \
    --net=host \
    -e KAFKA_BROKER_ID=2 \
    -e KAFKA_ZOOKEEPER_CONNECT="192.168.56.137:2181,192.168.56.138:2181,192.168.56.139:2181" \
    -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.138:9092 \
    -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
    -e ALLOW_PLAINTEXT_LISTENER=yes \
    -v /etc/localtime:/etc/localtime \
    -t bitnami/kafka:3.1.1

# kafka-3
docker run -d \
    --name=kafka-3 \
    --restart=always \
    --privileged=true \
    --net=host \
    -e KAFKA_BROKER_ID=3 \
    -e KAFKA_ZOOKEEPER_CONNECT="192.168.56.137:2181,192.168.56.138:2181,192.168.56.139:2181" \
    -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.139:9092 \
    -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
    -e ALLOW_PLAINTEXT_LISTENER=yes \
    -v /etc/localtime:/etc/localtime \
    -t bitnami/kafka:3.1.1

3、安装 kafka-manager 管理工具

我们在 kibana 上部署

docker pull sheepkiller/kafka-manager:stable

运行容器

docker run -d \
    --name=kafka-manager \
    --restart=always \
    --privileged=true \
    -p 9000:9000 \
    -e ZK_HOSTS="192.168.56.137:2181,192.168.56.138:2181,192.168.56.139:2181" \
    sheepkiller/kafka-manager:stable

浏览器访问：http://192.168.56.136:9000/

创建 Kafka 集群节点，来查看当前集群状态：

image-20220623215647425

依次建立即可：

image-20220623215853651

看看集群状态：

image-20220623220003302

进入 Brokers 查看，每一个 Brokers 代表一个 Kafka 实例，这里显示为 3 ，所以我们的集群实例为三个：

image-20220623220148318

至此，Kafka集群部署完毕！

2.7 Filebeat 轻量级数据收集引擎

2.7.1 架构图

Filebeat 隶属于Beats，一款轻量级的数据收集引擎，那它如何工作于 ELK 集群中呢？

Filebeat 安装在要收集日志的应用服务器中，Filebeat收集到日志之后传输到kafka中，logstash通过kafka拿到日志，在由logstash传给后面的es，es将日志传给后面的kibana，最后通过kibana展示出来。

filebeat

2.7.2 部署及应用

1、安装

# 在要收集的日志的服务器上部署该插件
tar xzf filebeat-6.8.23-linux-x86_64.tar.gz -C /data/
mv /data/filebeat-6.8.23-linux-x86_64/ /data/filebeat

2、配置

cd /data/filebeat/
cp filebeat.yml filebeat.yml.bak

cat filebeat.yml

#=========================== Filebeat inputs =============================
filebeat.inputs:
- type: log
  enabled: true
  json.keys_under_root: true
  json.add_error_key: true
  json.message_key: log
  paths:
    - /data/nginx/logs/access.log

#============================= Kafka outputs =============================
output.kafka:
  enabled: true
  hosts: ["192.168.56.137:9092","192.168.56.138:9092","192.168.56.139:9092"]
  topic: filebeat_test

运行 filebeat

# 前台启动
/data/filebeat/filebeat -e -c filebeat.yml

# 后台启动
nohup /data/filebeat/filebeat -e -c filebeat.yml &

3、查看 kafka 集群状态

可以看到新增了一个 Topics，说明 filebeat 采集的数据成功输出到了 Kafka 集群中了。

image-20220624103042003

点击进去看看是否是我们上面定义的 Topic: filebeat_test

image-20220624103408352

4、这个时候就需要消费者来消费我这条数据了

从 ELK 集群架构上看，消费者是我们的 ES 集群，那 ES 集群如何消费 Kafka 集群的消息呢？答案是通过 Logstash，为什么这里还要使用 logstash？原因是其具备 input —> filter —> output 的流功能，当然，filebeat 可以将数据直接发送到 ES 集群。

  • 配置 logstash

    input {
    kafka {
        type => "filebeat_test_log"
        codec => "json"
        topics => "filebeat_test"
        decorate_events => true
        bootstrap_servers => "192.168.56.137:9092, 192.168.56.138:9092, 192.168.56.139:9092"
    }
}

output{
    elasticsearch {
        hosts => ["192.168.56.133:9200","192.168.56.134:9200","192.168.56.135:9200"] 
        index => ["%{type}-%{+YYYY.MM.dd}"]
    }
}

  • 运行 logstash

    /data/logstash/bin/logstash -f /data/logstash/config/conf.d/filebeat_test.conf

  • ES 集群查看是否收到了该消息

    可看到，ES 集群已经成功消费了 Kafka 集群的消息了。

    image-20220624105553521

  • 我们再去 Kibana 看看，进行相关检索

    image-20220624111301216

三、总结

其实你会发现，ELK 这一套日志解决方案就是一个完整的工程项目，前端 Kibana 展示、后端 ES 集群（做数据存储）、中间件 Kafka 做流量削峰和异步解耦等。整个搭建过程并不难，主要是搞清楚不同架构应用的场景，以及 ELK 的整个工作流程（原理）。至于上图架构中 Kibana 为什么要做负载均衡，主要是考虑到在高并发的情况下（这里的高并发指的是 Client 的高并发），比如公司有上百人同时访问 Kibana，那 Kibana 肯定是存在瓶颈的，可做多个 Kibana 实现负载均衡（其实就类似我们平时项目中前端项目做的负载均衡技术）。

FAQ

es-head 插件访问不了 ES 集群

1、详情如下图所示：

image-20220624174527563

2、解决方案

修改 ES 集群配置文件：

...
...
# 解决跨域问题
http.cors.enabled: true
http.cors.allow-origin: "*"
# 新增以下内容
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
...

# 重启 ES 集群
docker restart es-1
docker restart es-2
docker restart es-3

3、es-head 插件访问

http://192.168.56.136:9100/?auth_user=elastic&auth_password=123456

# 说明：
# auth_user：你在ES集群设置的用户名（其实是内置用户）
# auth_password：你当时设置的内置用户名密码

image-20220624180113410

<点击跳转至开头>

云计算-Security
关注
专栏目录
Docker安装ELK
qq_1801743621的博客
12-23 2211
Docker安装ELK。ELK实际上是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。如果与elasticsearch安装的不是同一台机器启动时需要手动指定elasticsearch地址。Password：elasticsearch设置的密码。由于系统开了防火墙，需要放行相关端口。地址：http://ip:5601/拉取当前最新镜像版本：8.5.3。拉取当前最新镜像版本：8.5.3
Docker（Docker-Compose编排）部署集群+ELK + Consul技术真项目实战（冲冲冲！！！）
下一个艺术家
12-07 1443
现有某公司现需求使用Docker技术将Nginx（可使用Apache）+Tomcat作为企业内部站点的展示，同时需要使用ELK技术对Nginx进行日志收集，使用技术：Docker（Docker-Compose编排）部署集群（需求可以通过win10访问到内部站点首页），使用ELK收集Nginx/Apache日志信息，并同样需要使用win10访问到Kibana所提供的数据展示页面，使用consul技术（自动发现、更新、配置功能）实现自动发现/配置服务
docker部署ELK集群
qq_39942956的博客
07-12 773
docker deploy ELK: 1:Docker 安装 Elasticsearch docker pull elasticsearch:7.8.0 docker network create elknet 单机部署：docker run -d --name elasticsearch --net host -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.8.0 集群部署： es.yml： ------
不背锅运维：享一个具有高可用性和可伸缩性的ELK架构实战案例
ttropsstack的博客
03-16 272
本文只分享各个链路环节的配置对接，关于环境的搭建，比如kafka集群、es集群的搭建等请自行完成。还有，业务应用的日志可以是你的其他业务日志，希望本文可以起到抛砖引用的效果。
docker快速安装ELK
最新发布
wangchange的博客
09-29 1708
注意ip是你的服务器ip,端口就是5601，首次访问页面如下，需要先配置Elastic,我们选择自己手动配置一下，然后配置Elastic服务地址，vi docker-compose.yml，然后将下面的代码粘贴到文件中，最后保存即可。先进入/usr/local/share/elk目录，然后启动ELK。创建/elk/elasticsearch/data/目录。创建/elk/logstash/pipeline/目录。创建/elk/kibana/conf/目录。创建docker-compose.yml。
Docker安装ELK集群
qq_42799562的博客
11-12 1947
ELK集群安装
Docker 安装ELK集群
Eddie'Blog
02-09 252
文章目录目录前言版本与端口信息对应IP地址Elasticsearchdocker 拉取镜像在home下新建三个文件夹es01 : elasticsearch.yml (node-1)es02 : elasticsearch.yml (node-2)es03 : elasticsearch.yml (node-3)home/es 目录，存放配置文件 (解决权限问题)docker创建网络创建es节点容器，修改JVM （默认2G）防火墙放行查看es容器情况 (出现创建失败查看日志 docker logs ${na
Docker 搭建 ELK集群
技术小站
06-13 851
参考资料： https://elk-docker.readthedocs.io/#running-elasticsearch-nodes-on-a-single-host
docker ELK集群
07-27
- *1* *2* [基于 Docker 的 ELK 高可用集群架构](https://blog.csdn.net/IT_ZRS/article/details/125466805)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
谷粒商城电商项目 （ 大型分布式基础+高级、高可用集群部署）（全栈开发篇）
05-22
《谷粒商城电商项目：大型分布式基础与高可用集群部署》 在当今互联网时代，电商平台的构建已经成为企业不可或缺的一部分。谷粒商城电商项目以其大型分布式基础和高可用集群部署为特色，展现了现代电商系统的先进性...
Spring Cloud与Docker高并发微服务架构设计实施.rar
07-16
《Spring Cloud与Docker高并发微服务架构设计实施》是一本深入探讨现代互联网应用开发的专著，由陈韶健撰写。这本书的核心是讲解如何利用Spring Cloud和Docker这两个强大的工具来构建高并发、高性能的微服务架构。...
Docker构建ELK Docker集群日志收集系统
09-30
为了在Docker集群中更好的管理查看日志 我们使用Docker 来搭建集群的ELK日志收集系统，这篇文章介绍了Docker构建ELK Docker集群日志收集系统的相关资料,需要的朋友可以参考下
Docker-compose 建立ELK集群的实现方法
09-29
主要介绍了Docker-compose 建立ELK集群的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
ELK软件安装包以及搭建ELK群集实现高可用
向上的信念
02-25 804
ELK软件安装包 如图所示：搭建ELK群集 一、通过YUM方式安装 ELK的安装流程：https://www.elastic.co/guide/en/elasticsearch/reference/7.5/rpm.html#rpm-repo 1.下载并安装公共签名的密钥: [root@elk01 ~]# rpm --import https://artifacts.elastic.co/GPG-...
Docker方式搭建ELK集群
gzt19881123的专栏
08-20 1503
此篇文章记录一下搭建过程和一些思考总结 目录What is ELK ?Why use ELK ?How build ELK with docker？1. 部署 Elasticsearch 集群1.1 创建文件夹和配置文件1.2 检查系统相关参数1.3 创建容器2. 部署 Kibana2.1 创建文件夹和配置文件2.2 创建容器2.3 nginx 代理访问3. 部署 Logstash3.1 创建文件夹和配置文件3.2 创建容器4. SpringBoot 集成 Logstash5. 访问 kibana6..
Docker方式搭建ELKF集群--集成kafka和redis抽取日志
qq_39169917的博客
07-06 830
上面 必须注意： 如果要生效 /etc/sysctl.conf 请务必确保 net.ipv4.ip_forward=1 ，默认他是0，如果是0。1、启动相关应用 比如：Mysql、Nginx、Redis，具体如果安装启动，我这里就不多说，我主要讲解一下已经启动的应用。内核参数文件 /etc/sysctl.conf 里面增加一行 vm.max_map_count=262144。/kibana/config/kibana.yml 文件。192.168.88.133 上创建目录。
『高级篇』docker之Mesos集群架构图（23）
weixin_34000916的博客
02-09 172
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：『高级篇』docker之Mesos集群架构图（23）上次我们了解了Mesos的原理，这次我们想办法给环境搭建起来，但是搭建环境之前，首选得有服务器，这边就拿mac本和虚拟机来搭建。4台服务器。所以感觉需要画一个架构图，明确下每台服务器上需要安装什么软件，方便之后的环境搭建，和了解他们之前是如何交互的。有四台服务器，一台是主机（...
ELK结合Spark构建高可用架构及监控spark集群
大数据技术杂谈
01-11 3358
1. ELK 系统是如何进行架构的？ 2. 为什么ELK 在 Spark 集群中是高可用性构架？ 3. ELK 可以监控 Spark 集群的哪些性能？ 4. ELK 可以监控 Spark 集群的哪些作业？ 解决方案： 概述 大数据处理技术越来越火,云计算平台也如火如荼,二者犹如 IT 列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病
带你彻底弄明白！java在线运行工具
weixin_57485542的博客
07-01 604
Cache aside Cache aside也就是旁路缓存，是比较常用的缓存策略。 （1）读请求常见流程 应用首先会判断缓存是否有该数据，缓存命中直接返回数据，缓存未命中即缓存穿透到数据库，从数据库查询数据然后回写到缓存中，最后返回数据给客户端。 （2）写请求常见流程 首先更新数据库，然后从缓存中删除该数据。 看了写请求的图之后，有些同学可能要问了：为什么要删除缓存，直接更新不就行了？这里涉及到几个坑，我们一步一步踩下去。 Cache aside踩坑 Cache aside策略如果用错就会遇到深坑，下
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云计算-Security

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值