【EFK】efk 8收集docker容器日志测试

已于 2024-07-08 14:14:53 修改
阅读量1k 收藏 17
点赞数 24
分类专栏： EFK 文章标签： docker elasticsearch
于 2024-07-04 15:09:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/margu_168/article/details/140111039
版权

前言

目前，efk 全家桶已经更新到版本8 了，本章节我们使用8版本的elk搭建日志收集系统，了解它的配置运行过程，方便以后在更复杂的环境中更好的使用。
版本默认就是8+最新的，也可以自己指定其他8的版本

  • elasticsearch: 8.14.1
  • filebeat: 8.14.1
  • kibana: 8.14.1
  • docker： docker-ce-26.1.4

操作系统说明
用的centos7.7 版本，内核版本3.10+

[root@kube-master ~]# uname -a
Linux kube-master 3.10.0-1062.18.1.el7.x86_64 #1 SMP Tue Mar 17 23:49:17 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
[root@kube-master ~]# cat /etc/redhat-release 
CentOS Linux release 7.7.1908 (Core)

安装过程

服务器主机需要能访问互联网，方便起见本文所有安装包均采用 yum 安装。
安装顺序如下：
1、系统初始化
2、 docker-ce
3、elasticsearch
4、 kibana
5 、filebeat

在阅读本文前，最好对dockerd日志管理有一定的了解。具体可以参考https://blog.csdn.net/margu_168/article/details/131075337

系统初始化

系统初始化分为以下几步：
1、修改主机名
2、关闭selinux 和 firewalld
3、配置国内yum源
4、校对时间

修改主机名
host名字没啥影响，大家可以随意改，我这复用了我之前的环境。

[root@kube-master ~]# hostnamectl set-hostname kube-master
[root@kube-master ~]# hostname kube-master
[root@kube-master ~]# echo "192.168.10.128  kube-master" >> /etc/hosts
#断开会话重新连接
[root@kube-master ~]# hostname
kube-master

关闭selinux 和 firewalld

关闭 selinux

[root@kube-master ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@kube-master ~]# systemctl disable firewalld
[root@kube-master ~]# setenforce 0

配置国内yum源

[root@kube-master ~]# cd /etc/yum.repos.d/
#centos-7源
[root@kube-master yum.repos.d]#   curl http://mirrors.aliyun.com/repo/Centos-7.repo -o Centos-7.repo

#docker-ce源
[root@kube-master yum.repos.d]#  curl http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -o docker-ce.repo

#epel-7源
[root@kube-master yum.repos.d]#  curl http://mirrors.aliyun.com/repo/epel-7.repo -o epel-7.repo

#efk源
[root@kube-master yum.repos.d]# cat << EOF > elasticstack.repo
[elasticstack]
name = elasticstack
gpgcheck = 0
baseurl = https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum/elastic-7.x/
EOF

校对时间

[root@kube-master ~]#  yum install -y ntpdate
#任君选
[root@kube-master ~]#  ntpdate tiger.sina.com.cn 
28 Jun 11:47:21 ntpdate[6027]: step time server 202.108.0.246 offset -4.277028 sec
[root@kube-master ~]#  ntpdate ntp1.aliyun.com
28 Jun 11:48:20 ntpdate[6186]: adjust time server 120.25.115.20 offset -0.009092 se

Docker-ce

安装docker-ce

[root@kube-master ~]# yum install -y docker-ce
添加docker-ce 配置
[root@kube-master ~]# mkdir /etc/docker/
[root@kube-master ~]# cat << 'EOF' > /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": [
      "https://5sssm2l6.mirror.aliyuncs.com",
      "http://hub-mirror.c.163.com/",
      "https://docker.mirrors.ustc.edu.cn/",
      "https://registry.docker-cn.com"
  ],
  "data-root": "/data/docker",
  "storage-driver": "overlay2",
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m",
    "max-file": "3"
  }
}

修改系统参数并启动 docker

# 注意该下面参数是之前安装k8s的时候设置，应该也是可以使用的
[root@kube-master ~]# cat  /etc/sysctl.d/k8s.conf 
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
net.ipv4.neigh.default.gc_stale_time = 120
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.ip_forward = 1
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.tcp_synack_retries = 2
# 要求iptables不对bridge的数据进行处理
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1
net.netfilter.nf_conntrack_max = 2310720
fs.inotify.max_user_watches=89100
fs.may_detach_mounts = 1
fs.file-max = 52706963
fs.nr_open = 52706963
vm.overcommit_memory=1
vm.panic_on_oom=0
vm.swappiness = 0
# https://github.com/moby/moby/issues/31208 
# ipvsadm -l --timout
# 修复ipvs模式下长连接timeout问题 小于900即可
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 10

#下面命令可以查看当前系统设置的参数
[root@kube-master ~]# sysctl --system
#启动docker
[root@kube-master ~]# systemctl enable docker; systemctl start docker
#查看docker信息
[root@kube-master ~]# docker info

Elasticsearch

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。安装过程如下：

安装elasticsearch

[root@kube-master ~]# yum install -y elasticsearch

#在安装过程中会有以下的输出内容
--------------------------- Security autoconfiguration information ------------------------------

Authentication and authorization are enabled.
TLS for the transport and HTTP layers is enabled and configured.

The generated password for the elastic built-in superuser is : _EEznFSkBmHWaNAEwC=4

If this node should join an existing cluster, you can reconfigure this with
'/usr/share/elasticsearch/bin/elasticsearch-reconfigure-node --enrollment-token <token-here>'
after creating an enrollment token on your existing cluster.

You can complete the following actions at any time:

Reset the password of the elastic built-in superuser with 
'/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic'.

Generate an enrollment token for Kibana instances with 
 '/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana'.

Generate an enrollment token for Elasticsearch nodes with 
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node'.

-------------------------------------------------------------------------------------------------
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd
 sudo systemctl daemon-reload
 sudo systemctl enable elasticsearch.service

请仔细查看以上上面的输出内容，注意如果在安装的时候没有上面的输出，应该是服务器之前安装过elasticsearch，需要将之前的目录（/var/lib/elasticsearch）删除干净后再次安装。
注意，这里用户名为：elastic 密码为： _EEznFSkBmHWaNAEwC=4，后面可以自行修改。

修改默认配置文件

[root@kube-master ~]# cd /etc/elasticsearch/

#修改操作前，一定要做好源文件的备份
[root@kube-master ~]# cp -a elasticsearch.yml elasticsearch.yml.init

# 修改后的配置文件
[root@kube-master elasticsearch]# egrep -v "^#|^$" elasticsearch.yml 
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.10.128
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: true
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12
cluster.initial_master_nodes: ["kube-master"]
http.cors.enabled: true
http.cors.allow-origin: "*"

启动elasticsearch

启动完成后，elasticsearch会监听 9200 和 9300

[root@kube-master ~]# systemctl enable elasticsearch; systemctl start elasticsearch
[root@kube-master elasticsearch]# netstat -ntplu | egrep '9200|9300'
tcp        0      0 0.0.0.0:9200            0.0.0.0:*               LISTEN      18194/java          
tcp        0      0 192.168.10.128:9300     0.0.0.0:*               LISTEN      18194/java

测试， elasticsearch 8 中，无法使用 http 访问， 需要使用https： https://192.168.10.128:9200/

在这里插入图片描述
注意过程中需要输入账号密码，就是上面安装时自动生成的elastic账号和密码。 也可以使用下面的命令进行测试

[root@kube-master kibana]#  curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic:_EEznFSkBmHWaNAEwC=4  -XGET "https://192.168.10.128:9200/"

Kibana

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

安装kibana

[root@kube-master ~]# yum install -y kibana

生成kibana需要的相关证书

由于上面的es开启了xpack，所以不能直接以http的方式访问，需要使用到相关的证书。在生成证书的过程中要输入密码，具体密码可以通过/usr/share/elasticsearch/bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password查看。

[root@kube-master certs]# pwd
/etc/elasticsearch/certs
[root@kube-master certs]# ll /etc/elasticsearch/certs/
total 44
-rw-rw----. 1 root elasticsearch  1915 Jul  2 12:56 http_ca.crt
-rw-rw----. 1 root elasticsearch 10013 Jul  2 12:56 http.p12
-rw-rw----. 1 root elasticsearch  5822 Jul  2 12:56 transport.p12

# Private Key 私钥
[root@kube-master certs]#  openssl pkcs12 -in http.p12 -nocerts -nodes > client.key
# Public Certificate 公共证书
[root@kube-master certs]#  openssl pkcs12 -in http.p12 -clcerts -nokeys > client.cer
# CA Certificate 签署公共证书的CA
[root@kube-master certs]#  openssl pkcs12 -in http.p12 -cacerts -nokeys -chain > client-ca.cer

[root@kube-master certs]#  mkdir /etc/kibana/config/
[root@kube-master certs]#  cp /etc/elasticsearch/certs/client* /etc/kibana/config/

修改 kibana 配置文件

注意：使用的是kibana账户，密码不知道可以用elasticsearch-reset-password（/usr/share/elasticsearch/bin/elasticsearch-reset-password -u kibana）命令进行重置。

[root@kube-master ~]# cd /etc/kibana/
#修改前，备份源文件
[root@kube-master ~]# cp -a kibana.yml kibana.yml.init
#修改后的配置如下
[root@kube-master certs]# egrep -v "^#|^$" /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["https://192.168.10.128:9200"]
elasticsearch.username: "kibana"
elasticsearch.password: "lUES4rBM327_eNH1NO5u"
elasticsearch.ssl.certificate: /etc/kibana/config/client.cer   #相关路径最好写绝对路径
elasticsearch.ssl.key: /etc/kibana/config/client.key
elasticsearch.ssl.certificateAuthorities: /etc/kibana/config/client-ca.cer
elasticsearch.ssl.verificationMode: certificate
logging:
  appenders:
    file:
      type: file
      fileName: /var/log/kibana/kibana.log
      layout:
        type: json
  root:
    appenders:
      - default
      - file
pid.file: /run/kibana/kibana.pid
i18n.locale: "zh-CN"

启动kibana

[root@kube-master ~]# systemctl daemon-reload
[root@kube-master ~]# systemctl enable kibana ; systemctl start kibana
#kibana监听地址默认为：5601
[root@kube-master ~]#  netstat -ntplu | egrep 5601
[root@kube-master ~]# netstat -ntplu | egrep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      19208/node

通过浏览器访问kibana
在这里插入图片描述

Filebeat

安装 filebeat

[root@kube-master ~]# yum install -y filebeat

到此，所有安装的软件包都已经安装就位，接下来就是配置的修改及调整。由于filebeat涉及到收集各种不同情况下的日志，所以配置不定。下面以收集 nginx 容器日志为例，进行调试配置。

配置调试过程

配置说明

在编写 filebeat 配置文件之前，先了解下 filebeat 配置文件结构，建议参考官方文档：
https://www.elastic.co/guide/en/beats/filebeat/8.14/directory-layout.html
在这里插入图片描述

通过configure目录可以看到配置有很多项，主要要添加的有inputs 和 output 两部分，我们先来看看 inputs，可以看到此版本已经没有docker相关的input了，我们直接查看container input
在这里插入图片描述

container input 使用如下：
在这里插入图片描述

可以直接使用官方提供的示例。
接下来，查看 output 部分。可以看到output的选择也有多种，elasticsearch、redis、kafka等都是常见的。在这直接选用elasticsearch
在这里插入图片描述

目前我们处于配置调试节点，可以将日志收集直接打印在控制台展示，如果数据没问题，再进行配置到 elasticsearch 中，所以这里直接通过 Console输出。
在这里插入图片描述

综上，下面我们开始修改配置文件：

调试

注意配置文件的正确目录（使用绝对路径和相对路径都可），否则无法使用调试模式启动。

[root@kube-master ~]# cd /etc/filebeat/
[root@kube-master ~]# cat > /etc/filebeat/docker-nginx.yml  <<EOF
filebeat.inputs:
- type: container
  paths:
    - '/data/docker/containers/*/*.log'  #注意与实际使用中的位置一致，后面不在说明

output.console:
  pretty: true
EOF

通过 filebeat 调试模式启动。

[root@kube-master filebeat]# filebeat -e -c docker-nginx.yml
2024-06-28T16:02:28.383+0800    INFO    [registrar]     registrar/registrar.go:109      States Loaded from registrar: 23
2024-06-28T16:02:28.383+0800    INFO    [crawler]       beater/crawler.go:71    Loading Inputs: 1
2024-06-28T16:02:28.383+0800    INFO    [crawler]       beater/crawler.go:117   starting input, keys present on the config: [filebeat.inputs.0.paths.0 filebeat.inputs.0.type]
2024-06-28T16:02:28.383+0800    WARN    [cfgwarn]       log/input.go:89 DEPRECATED: Log input. Use Filestream input instead.
2024-06-28T16:02:28.384+0800    INFO    [input] log/input.go:171        Configured paths: [/data/docker/containers/*/*.log]     {"input_id": "8767ef10-291f-44c7-9475-ccbd3ec07e90"}
2024-06-28T16:02:28.384+0800    INFO    [crawler]       beater/crawler.go:148   Starting input (ID: 17511724858553739275)
2024-06-28T16:02:28.384+0800    INFO    [crawler]       beater/crawler.go:106   Loading and starting Inputs completed. Enabled inputs: 1

出现如上信息，并占用控制台则表示启动成功，等待着日志的打印。
下面我们一个启动 nginx 容器

#新开一个窗口
[root@kube-master ~]# docker run --name ngx -p 80:80 -d nginx:alpine
# 当容器启动成功后，filebeat 控制台就会打印如下信息日志：
{
  "@timestamp": "2024-07-03T06:33:55.456Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "_doc",
    "version": "8.14.1"
  },
  "message": "2024/07/03 06:33:55 [notice] 1#1: start worker process 33",
  "input": {
    "type": "container"
  },
  "ecs": {
    "version": "8.0.0"
  },
  "host": {
    "name": "kube-master"
  },
  "agent": {
    "version": "8.14.1",
    "ephemeral_id": "f5c36e56-068b-48f6-8f59-6bda1985f121",
    "id": "142a9309-4240-4fc0-99b9-631405d51c57",
    "name": "kube-master",
    "type": "filebeat"
  },
  "log": {
    "offset": 2197,
    "file": {
      "path": "/data/docker/containers/750f085f966d91f180a4303304ec3bd84eb0eacb32b03fd614c171dd12cf57e8/750f085f966d91f180a4303304ec3bd84eb0eacb32b03fd614c171dd12cf57e8-json.log"
    }
  },
  "stream": "stderr"
}

出现这样的信息，说明filebeat 已经捕获到了 容器的日志信息
接下来就要对日志信息进行筛选，大段的日志信息有很多我们并不需要过多的去关注，因此需要剔除无用的信息，继续查看官方文档，文档中有个processors，这个 Processors 可以理解为 filter ，筛选器的意思

在 Processors 子类中，找到了 drop_fields 删除字段配置，打开查看。
在这里插入图片描述

通过官方示例查看，when 当…时候… 这里就是通过条件筛选进行字段的删除，目前我们这里没有条件筛选，尝试直接删除字段。
注意：通过官方文档查看 processors 是与 input 和 output 平级的，所以注意格式。
于是，配置文件又修改为如下：

[root@kube-master ~]# cat > /etc/filebeat/docker-nginx.yml  <<EOF
filebeat.inputs:
- type: container
  paths:
    - '/data/docker/containers/*/*.log'
processors:
- drop_fields:
    fields: ["log","agent","ecs"]
output.console:
  pretty: true
EOF

在刚才的控制台 ctrl + c 结束，重新启动。并在另一个终端使用curl访问Nginx。

[root@kube-master filebeat]# filebeat -e -c docker-nginx.yml
#会有类似以下输出
{
  "@timestamp": "2024-07-03T06:37:58.196Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "_doc",
    "version": "8.14.1"
  },
  "stream": "stdout",
  "message": "172.17.0.1 - - [03/Jul/2024:06:37:58 +0000] \"GET / HTTP/1.1\" 200 615 \"-\" \"curl/7.29.0\" \"-\"",
  "input": {
    "type": "container"
  },
  "host": {
    "name": "kube-master"
  }
}

到目前为止，已经提取出来对我们有用的日志信息，接下来就可以存储到 elasticsearch 中，查看官方文档如何存储到 es 中。
在这里插入图片描述
在这里插入图片描述
可以看到，如果开启了 https ，如果采用basic认证，需要添加相应的用户名和密码。修改 filebeat 配置如下：

filebeat.inputs:
- type: container
  enabled: true
  paths:
  - '/data/docker/containers/*/*.log'
processors:
- drop_fields:
   fields: ["log","ecs","agent"]
output.elasticsearch:
  hosts: ["https://192.168.10.128:9200"]
  ssl.verification_mode: "none"
  username: "elastic"
  password: "qz_n3JE==VqIIrPYEnGH"
  index: "docker-nginx-%{+yyyy.MM.dd}"
setup.ilm.enabled: false            # 关闭索引生命周期
setup.template.enabled: false       # 允许自动生成index模板
setup.template.overwrite: true      # 如果存在模块则覆盖

重启控制台，测试

#ctrl+c后执行
[root@kube-master ~]# filebeat -e -c docker-nginx.yml

#重启一个终端
[root@kube-master elasticsearch]# curl http://192.168.10.128

#浏览器访问 nginx 容器生成日志，然后通过 curl 查看 es 中所有索引信息：
[root@kube-master filebeat]# curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic:qz_n3JE==VqIIrPYEnGH  -XGET "https://192.168.10.128:9200/_cat/indices?v"
health status index                                                              uuid                   pri rep docs.count docs.deleted store.size pri.store.size dataset.size
green  open   .internal.alerts-transform.health.alerts-default-000001            YF2DqWchTXOwk9UyEIw6Kg   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.logs.alerts-default-000001          jVc1NW8pSa6NiiX-udEOyQ   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.uptime.alerts-default-000001        VQeUg9lSRzGR9BCUOPd9Yw   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-ml.anomaly-detection.alerts-default-000001        Nzhc5VgIQLWezHR3uf-37w   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.slo.alerts-default-000001           5eI0d1-mQfKJtm7OySZcog   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-default.alerts-default-000001                     V5mTo8DSQVWXBxjYtioKTg   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.apm.alerts-default-000001           9y2hyDdiQ4CJQyhze3dFAg   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.metrics.alerts-default-000001       JKhsfXPRQOKkhg4MTfO0oQ   1   0          0            0       249b           249b         249b
yellow open   docker-nginx-2024.07.03                                            P1WtaXoeRIiNW3VXgGz8nw   1   1          4            0     15.8kb         15.8kb       15.8kb
green  open   .kibana-observability-ai-assistant-conversations-000001            -Uq0kdc2QpuxCulxmLsx6A   1   0          0            0       249b           249b         249b
yellow open   filebeat-8.14.1                                                    TlurNMXVR0mHeYtQkSpmQw   1   1         34            0     30.3kb         30.3kb       30.3kb
green  open   .internal.alerts-ml.anomaly-detection-health.alerts-default-000001 jHcoxn-ZQD2_HD9Sb-OXQQ   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.threshold.alerts-default-000001     3vx1_2frSLaSjApUS_Aehw   1   0          0            0       249b           249b         249b
green  open   .kibana-observability-ai-assistant-kb-000001                       5UwmPLpITZawQqG3BhZt2Q   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-security.alerts-default-000001                    tLakcVM6TVaBSE4AVV42oQ   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-stack.alerts-default-000001                       z5qMabVfRhWy_0dpHVlV-Q   1   0          0            0       249b           249b         249b

可以看到docker-nginx这一条就是我们通过 filebeat 存储进去的日志信息。因为存储的是nginx 容器的日志，开始就做好将索引名修改为 nginx 相关的名字，这样就可以通过索引名确定存储的数据信息。

官网参考内容如下： output -> elasticsearch 相关文档信息
在这里插入图片描述
接下来就可以通过 kibana 展示出来。访问地址为IP+5601端口。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
然后选择discovery，这样就将 nginx 容器的日志信息收集展示出来了。

后续只需要将 docker-nginx.yml 配置信息整合到 主配置文件 filebeat.yml 中就行了。

进阶配置

现在的数据就简化了很多，只保留对我们有用的信息。接下来就要考虑几个问题：

  • nginx 日志分为 access.log 和 error.log 如何区分存储？
  • 如果多个容器如果区分不同的容器日志？

stdout 及 stderr 存入不同索引

对于 nginx来说，有时候我们可能只需要关注错误日志，如何区分存储呢？其实查看上面控制台输出的日志内容不难发现一个字段：stream

#kibana界面查看的
{
  "@timestamp": [
    "2024-07-03T09:59:37.389Z"
  ],
  "host.name": [
    "kube-master"
  ],
  "host.name.keyword": [
    "kube-master"
  ],
  "input.type": [
    "container"
  ],
  "input.type.keyword": [
    "container"
  ],
  "message": [
    "172.17.0.1 - - [03/Jul/2024:09:59:37 +0000] \"GET / HTTP/1.1\" 200 615 \"-\" \"curl/7.29.0\" \"-\""
  ],
  "message.keyword": [
    "172.17.0.1 - - [03/Jul/2024:09:59:37 +0000] \"GET / HTTP/1.1\" 200 615 \"-\" \"curl/7.29.0\" \"-\""
  ],
  "stream": [
    "stdout"
  ],
  "stream.keyword": [
    "stdout"
  ],
  "_id": "Jc8OeJABFRRxL93Ei_Nk",
  "_index": "docker-nginx-2024.07.03",
  "_score": null
}

其实对于 nginx 这样的容器，遵循一个标准，标准输出到 stdout 标准错误输出到 stderr 可进入容器查看：

[root@kube-master filebeat]# docker exec -it 75 /bin/sh
/ # ls -l /var/log/nginx/
total 0
lrwxrwxrwx    1 root     root            11 Dec 29  2021 access.log -> /dev/stdout
lrwxrwxrwx    1 root     root            11 Dec 29  2021 error.log -> /dev/stderr

所以，对于 stream: stderr 就是需要关注的 错误日志，所以根据字段条件进行区分，修改 filebeat 调试配置文件如下：

[root@kube-master filebeat]# cat docker-nginx.yml 
filebeat.inputs:
- type: container
  paths:
    - '/data/docker/containers/*/*.log'
processors:
- drop_fields:
    fields: ["log","agent","ecs"]
output.elasticsearch:
  hosts: ["https://192.168.10.128:9200"]
  ssl.verification_mode: "none"
  username: "elastic"
  password: "qz_n3JE==VqIIrPYEnGH"
  indices:
  - index: "docker-nginx-access-%{+yyyy.MM.dd}"
    when.contains:
      stream: "stdout"
  - index: "docker-nginx-error-%{+yyyy.MM.dd}"
    when.contains:
      stream: "stderr"
setup.ilm.enabled: false         
setup.template.enabled: false      
setup.template.overwrite: true

开始调试，调试 filebeat 时，先关闭 filebeat服务

[root@kube-master filebeat]#  systemctl stop filebeat
[root@kube-master filebeat]# filebeat -e -c docker-nginx.yml

通过curl命令访问nginx，一个正常能访问的uri和一个并不存在的 uri 让其生成错误日志，然后查看索引：

#另开终端
[root@kube-master filebeat]# curl http://192.168.10.128
[root@kube-master filebeat]# curl http://192.168.10.128/123
[root@kube-master filebeat]# curl http://192.168.10.128:9200/_cat/indices?v
health status index                              uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .geoip_databases                   xZCNQt1qSXmYVt_ZruchyQ   1   0         33            0     31.2mb         31.2mb
yellow open   docker-nginx-access-2024.07.01     IHOUT7PJR2i1prqtBHhUPA   1   1          2            0      5.3kb          5.3kb
green  open   .kibana_task_manager_7.17.22_001   DoS2iFZNTPeRYCduvqRrXA   1   0         17         3058    434.7kb        434.7kb
green  open   .apm-custom-link                   trobzSMtS6iAUbG7jwGSuQ   1   0          0            0       227b           227b
green  open   .kibana_7.17.22_001                sHUgOQ3cRzG-oie60O7fpQ   1   0         29           13      2.3mb          2.3mb
yellow open   docker-nginx-2024.07.01            f5sBI4EMRvWg5-WdPdX7bA   1   1          3            0     10.3kb         10.3kb
green  open   .apm-agent-configuration           IO4Qcc4tR0GnJnoOVeXimw   1   0          0            0       227b           227b
yellow open   filebeat-7.17.22-2024.07.01-000001 yVVnQ8B-QgCKjbSw7CTh9g   1   1          1            0      5.1kb          5.1kb
green  open   .async-search                      r6ov63XgSD2DZJfb00ovUA   1   0          0            0       250b           250b
yellow open   docker-nginx-error-2024.07.01      FITBpG-BSqukRs-mFTU_zw   1   1          1            0      5.2kb          5.2kb
[root@kube-master filebeat]#

可以看到已经生成 了docker-nginx-access和docker-nginx-error两个索引。然后再kibana中设置，将不同是索引展示出来。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
docker-nginx-error-* 也如上添加展示。然后通过discovery查看，可以看到错误日志中就是刚刚访问的不存在的地址。
在这里插入图片描述
这样， 就可以通过不同的索引展示各种所需日志数据。

总结：该部分解决的问题是：单容器，正常日志和错误日志分类存放的问题。

不同业务容器存入不同索引

容器使用场景，肯定会存在不同的程序或者不同的业务都运行于容器当中。举个最简单的架构 lnmp ，如果将nginx 和 php 的日志如果存储在同一个索引里，日后查询排错还不如直接查看源日志文件，这就违背了搭建日志收集系统的初衷。

通过上面 filebeat 中 inputs 可以看到是 通过解析容器日志目录来获取日志信息的，而容器的名称和ID 都会随着生命周期而变动的，因此无法像物理或者虚拟主机一样通过IP联系起来。这个时候就需要为容器打标签，通过打标签的形式区分不同业务的容器集合。

注意：做这一部分示例前，请将运行中的容器关闭并删除。

[root@kube-master filebeat]# docker rm -f `docker ps -aq`

为容器打标签，以下方式二选一，推进还是使用docker-compose。下面启动两个不同的 web 服务， 一个开启80端口，一个开启 8081 端口，并需要将它们日志存储到不同的索引里。

docker 直接启动打标签

[root@kube-master filebeat]#  docker run --name nginx -p 80:80 --label service=nginx --log-opt labels=service -d nginx:alpine

[root@kube-master filebeat]# docker run --name httpd -p 8090:80 --label service=httpd --log-opt labels=service  -d httpd

通过docker-compose 打标签

[root@kube-master filebeat]# cat docker-compose.yml
### docker-compose.yml
version: "3"
services:
#web服务
  nginx:
    container_name: "nginx"
    image: nginx:alpine
    environment:
    - "TZ=Asia/Shanghai"
    labels:
      service: nginx
    logging:
      options:
        labels: "service"
    ports:
      - "80:80"
 
  # 8081 web 服务
  httpd:
    container_name: "httpd"
    image: httpd:latest
    environment:
    - "TZ=Asia/Shanghai"
    labels:
      service: httpd		# 标记
    logging:
      options:
        labels: "service"
    ports:
      - "8081:80"

[root@kube-master filebeat]# docker-compose up -d
[+] Running 2/2
 ⠿ Container nginx  Started                                                                                                                                                                        0.7s
 ⠿ Container httpd  Started

上面两种方式，任意执行一种。下面查看日志

[root@kube-master filebeat]# docker ps -a
CONTAINER ID   IMAGE          COMMAND                  CREATED          STATUS         PORTS                  NAMES
d86461ba1e10   httpd:latest   "httpd-foreground"       22 seconds ago   Up 4 seconds   0.0.0.0:8081->80/tcp   httpd
9dd4970f1da8   nginx:alpine   "/docker-entrypoint.…"   22 seconds ago   Up 4 seconds   0.0.0.0:80->80/tcp     nginx
[root@kube-master filebeat]# tail -1 /data/docker/containers/9dd4970f1da81433f61ae5c91c9953a737922e32e179705e5a103a33672357b0/9dd4970f1da81433f61ae5c91c9953a737922e32e179705e5a103a33672357b0-json.log 
{"log":"2024/07/04 13:10:50 [notice] 1#1: start worker process 26\n","stream":"stderr","attrs":{"service":"nginx"},"time":"2024-07-04T05:10:50.872134724Z"}

通过nginx的日志可以看到，日志中多有 attrs 属性字段，就是打的标签，然后下面通过 filebeat output 中 when 条件来过滤。编写修改 filebeat 配置文件：

#文件目录： /etc/filebeat/docker-compose-web.yml
[root@kube-master filebeat]# cat  docker-nginx.yml 
filebeat.inputs:
- type: container
  paths:
    - '/data/docker/containers/*/*.log'
processors:
- drop_fields:
    fields: ["log","agent","ecs"]
output.elasticsearch:
  hosts: ["https://192.168.10.128:9200"]
  ssl.verification_mode: "none"
  username: "elastic"
  password: "qz_n3JE==VqIIrPYEnGH"
  indices:
    - index: "web-nginx-access-%{+yyyy.MM.dd}"
      when.contains:
        # 日志中包括 docker.attrs.service==nginx 且 stream=stdout 存入web-nginx-access-%{+yyyy.MM.dd}
        docker.attrs.service: "nginx"           
        stream: "stdout"
    - index: "web-nginx-error-%{+yyyy.MM.dd}"
      when.contains:
        # 日志中包括 docker.attrs.service==nginx 且 stream=stderr 存入web-nginx-error-%{+yyyy.MM.dd}
        docker.attrs.service: "nginx"
        stream: "stderr"

    - index: "web-httpd-access-%{+yyyy.MM.dd}"
      when.contains:
        # 日志中包括 docker.attrs.service==httpd 且 stream=stdout 存入web-httpd-access-%{+yyyy.MM.dd}
        docker.attrs.service: "httpd"
        stream: "stdout"

    - index: "web-httpd-error-%{+yyyy.MM.dd}"
      when.contains:
        # 日志中包括 docker.attrs.service==httpd 且 stream=stderr 存入web-httpd-error-%{+yyyy.MM.dd}
        docker.attrs.service: "httpd"
        stream: "stderr"
setup.ilm.enabled: false            
setup.template.enabled: false       
setup.template.overwrite: true

启动：

[root@kube-master filebeat]# filebeat -e -c docker-nginx.yml
#另开终端，通过curl访问后，查看索引
[root@kube-master filebeat]# curl localhost
[root@kube-master filebeat]# curl localhost:8081
[root@kube-master filebeat]# curl localhost/1234   #生成nginx的错误索引
[root@kube-master filebeat]# curl localhost:8081/abcd
[root@kube-master filebeat]# curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic:qz_n3JE==VqIIrPYEnGH  -XGET "https://192.168.10.128:9200/_cat/indices?v"
health status index                                                              uuid                   pri rep docs.count docs.deleted store.size pri.store.size dataset.size
green  open   .internal.alerts-transform.health.alerts-default-000001            YF2DqWchTXOwk9UyEIw6Kg   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.logs.alerts-default-000001          jVc1NW8pSa6NiiX-udEOyQ   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.uptime.alerts-default-000001        VQeUg9lSRzGR9BCUOPd9Yw   1   0          0            0       249b           249b         249b
yellow open   web-nginx-access-2024.07.04                                        msnfHiqfTSe8LBQfECf0TQ   1   1          2            0      8.7kb          8.7kb        8.7kb
green  open   .internal.alerts-ml.anomaly-detection.alerts-default-000001        Nzhc5VgIQLWezHR3uf-37w   1   0          0            0       249b           249b         249b
yellow open   web-nginx-error-2024.07.04                                         iUnCj98qQyWKByVe1HNvnQ   1   1          1            0      8.8kb          8.8kb        8.8kb
green  open   .internal.alerts-observability.slo.alerts-default-000001           5eI0d1-mQfKJtm7OySZcog   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-default.alerts-default-000001                     V5mTo8DSQVWXBxjYtioKTg   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.apm.alerts-default-000001           9y2hyDdiQ4CJQyhze3dFAg   1   0          0            0       249b           249b         249b
yellow open   docker-nginx-2024.07.04                                            tEN-PUNgTQGwE0xC9ulhTw   1   1         53            0     32.8kb         32.8kb       32.8kb
green  open   .internal.alerts-observability.metrics.alerts-default-000001       JKhsfXPRQOKkhg4MTfO0oQ   1   0          0            0       249b           249b         249b
yellow open   docker-nginx-2024.07.03                                            P1WtaXoeRIiNW3VXgGz8nw   1   1          4            0     15.8kb         15.8kb       15.8kb
green  open   .kibana-observability-ai-assistant-conversations-000001            -Uq0kdc2QpuxCulxmLsx6A   1   0          0            0       249b           249b         249b
yellow open   filebeat-8.14.1                                                    TlurNMXVR0mHeYtQkSpmQw   1   1         34            0     30.3kb         30.3kb       30.3kb
green  open   .internal.alerts-ml.anomaly-detection-health.alerts-default-000001 jHcoxn-ZQD2_HD9Sb-OXQQ   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-observability.threshold.alerts-default-000001     3vx1_2frSLaSjApUS_Aehw   1   0          0            0       249b           249b         249b
yellow open   web-httpd-access-2024.07.04                                        -bmRhMRbScadgv28_wgJ8w   1   1          1            0        8kb            8kb          8kb
green  open   .kibana-observability-ai-assistant-kb-000001                       5UwmPLpITZawQqG3BhZt2Q   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-security.alerts-default-000001                    tLakcVM6TVaBSE4AVV42oQ   1   0          0            0       249b           249b         249b
green  open   .internal.alerts-stack.alerts-default-000001                       z5qMabVfRhWy_0

查看es中的索引可以发现生成了3个我们期望的索引。但是web-httpd-error的相关索引始终没有生成。下面我们来排查原因。

[root@kube-master filebeat]# docker ps
CONTAINER ID   IMAGE          COMMAND                  CREATED          STATUS          PORTS                  NAMES
d86461ba1e10   httpd:latest   "httpd-foreground"       22 minutes ago   Up 22 minutes   0.0.0.0:8081->80/tcp   httpd
9dd4970f1da8   nginx:alpine   "/docker-entrypoint.…"   22 minutes ago   Up 22 minutes   0.0.0.0:80->80/tcp     nginx
[root@kube-master filebeat]# tail -1   /data/docker/containers/d86461ba1e10bc93a19c91f85a50e0482260f7c429728749786954bf41c1e8e2/d86461ba1e10bc93a19c91f85a50e0482260f7c429728749786954bf41c1e8e2-json.log 
{"log":"172.19.0.1 - - [04/Jul/2024:13:31:44 +0800] \"GET /abcd HTTP/1.1\" 404 196\n","stream":"stdout","attrs":{"service":"httpd"},"time":"2024-07-04T05:31:44.660845556Z"}
[root@kube-master filebeat]#

可以看到，在httpd服务中，404的相关日志它也是通过stdout输出的，与nginx有一定成差别。下面模拟其他错误来输出到httpd服务的stdout中。

#修改一个需要访问文件的权限
[root@kube-master filebeat]# docker exec -it d8 /bin/sh
# pwd
/usr/local/apache2
# touch htdocs/abcd.html
# chmod -r htdocs/abcd.html

#退出容器，再测试
[root@kube-master filebeat]#  curl localhost:8081/abcd.html
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>403 Forbidden</title>
</head><body>
<h1>Forbidden</h1>
<p>You don't have permission to access this resource.</p>
</body></html>

[root@kube-master filebeat]# tail -1   /data/docker/containers/d86461ba1e10bc93a19c91f85a50e0482260f7c429728749786954bf41c1e8e2/d86461ba1e10bc93a19c91f85a50e0482260f7c429728749786954bf41c1e8e2-json.log 
{"log":"[Thu Jul 04 13:49:13.584204 2024] [core:error] [pid 9:tid 140382130132736] (13)Permission denied: [client 172.19.0.1:47432] AH00132: file permissions deny server access: /usr/local/apache2/htdocs/abcd.html\n","stream":"stderr","attrs":{"service":"httpd"},"time":"2024-07-04T05:49:13.653158214Z"}
[root@kube-master filebeat]#

在这里插入图片描述

可以看到，没有权限的403错误是通过stderr输出。web-httpd-error也已经自动生成。

这里就通过不同的条件将不同业务不同类型的日志进行了分开存储，然后在 kibana 如上配置，就可以分类查看。如下：
在这里插入图片描述

从截图也可以看出我们创建的4种索引，并且web-httpd-error中也有我们无权限访问的日志。

补充

下面补充一个重置es初始化密码的步骤
1、 停止Elasticsearch服务
/opt/elasticsearch-arm64/esctl stop
2、编辑elasticsearch.yml文件，设置以下两项为false;
#vim /opt/elasticsearch-arm64/config/elasticsearch.yml
xpack.security.enabled: false
xpack.security.transport.ssl.enabled: false
3、 重启es服务，删除.security-7索引
/opt/elasticsearch-arm64/esctl start

curl -XDELETE -u elastic:changeme http://localhost:9200/.security-7

4、 关闭ES服务设置以下两项为true;
#vim /opt/elasticsearch-arm64/config/elasticsearch.yml
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
5、 重启es服务，进入es的bin目录下
#/opt/elasticsearch-arm64/esctl stop
#/opt/elasticsearch-arm64/esctl start
#cd /opt/elasticsearch-arm64/bin/
#./elasticsearch-setup-passwords interactive

依次设置每个账号密码即可。

更多关于EFK的知识分享，请前往博客主页。编写过程中，难免出现差错，敬请指出

margu_168
关注
  • 24
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
elk或efk日志报警elastalert-docker安装-仅邮件
06-29
elk或efk日志报警elastalert-docker安装-仅邮件
elk或efk日志报警elastalert-docker安装-邮件或钉钉
06-29
ELK 或 EFK 日志报警 Elastalert-Docker 安装 - 邮件或钉钉 ELK（Elasticsearch、Logstash、Kibana）或 EFK（Elasticsearch、Fluentd、Kibana）日志报警系统是目前非常流行的日志管理解决方案之一。Elastalert 是一...
EFK采集docker日志
蓬蒿雪人⛄️的博客
12-27 441
从docker容器采集日志到elasticsearch EFK 日志采集架构图  1.先查找到进程ID，然后删除，重启。kibana 重启： fuser -n tcp 5601 netstat -ntlp 1.elasticSearch 存储和索引数据 2.kibana search数据 3.fluentd 负责采集数据并存储到elasticSearch 2.重点在fluentd的配置文件td...
efk docker
weixin_43153309的博客
11-22 1138
filebeat yml 配置 详细分离配置 logstash ### es filebeat.inputs: - type: log enabled: true paths: - /home/logs/*.log multiline.pattern: '^\d{4}-\d{1,2}-\d{1,2}' multiline.negate: true multiline.match: after multiline.max_lines: 500 multiline.timeo
docker一键部署EFK系统（elasticsearch filebeat kibana metricbeat es-head）
最新发布
打不倒的程序猿
05-30 875
Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。
docker搭建EFK
ITCodeCraft
04-06 1264
docker 容器内报错 E: List directory /var/lib/apt/lists/partial is missing. - Acquire ( : No such file or directory) 或者其他权限 PermissionError: [Errno 13] Permission denied:（https://www.cnblogs.com/maxiaohei/p/16321356.html）
docker搭建EFK（filebeat）收集docker日志，展示到kibana
qq_39746321的博客
03-03 467
docker部署EFK，收集docker容器日志
利用EFK实现k8s集群日志收集系统
06-21
Jenkins等工具，并把上述工具集成到Jenkins中，以Django项目为例，通过多分支流水线及Jenkinsfle实现项目代码提交到不同的仓库分支，实现自动代码扫描、单元测试、docker容器构建、k8s服务的自动部署。
Kubernetes离线部署+EFK日志收集资源.rar
05-15
在IT行业中，Kubernetes（简称K8s）已经成为容器编排和管理的首选平台，而Docker则是容器化应用的标准工具。...通过离线部署Kubernetes和集成EFK日志收集，可以确保在各种网络条件下有效地管理和维护容器化应用程序。
06-docker日志管理.docx
08-13
使用EFK管理docker日志
EFK日志收集系统搭建（docker-compose版）
流氓兔的博客
01-12 3705
docker-compose搭建EFK日志收集系统docker-compose.yml涉及到的映射目录配置文件 环境 Ubuntu18.04.4 服务器IP 192.168.1.197 版本： 服务 版本 elasticsearch 7.1.1 search 7.1.1 filebeat 7.1.1 elastichd latest docker-compose.yml version: '3' services: elasticsearch: image: do
Docker搭建EFK统一日志平台
mozhan的专栏
06-24 403
一、 下载Docker mac机器下载地址：https://download.docker.com/mac/stable/Docker.dmg 安装完成后在mac控制台执行： docker network create --driver bridge --subnet 192.168.0.0/24 --gateway 192.168.0.1 mynet 二，安装elasticsearch [root@node1 docker]# docker run --name elasti..
通过docker安装efk（elasticsearch、filebeat、kibana）日志管理平台非elk
暗·炎的博客
10-12 194
在云服务器上创建配置文件filebeat.yml，以/home/filebeat/filebeat.yml路径为例，获取/home/log/下的日志文件。安装前，需在企业路由器上配置虚拟服务器，目的是让云服务器可以通过公网ip访问到本地服务器。elasticsearch和kibana安装在本地服务器，filebeat安装在云服务器用于发送日志文件至本地服务器。修改elasticsearch:9200为es:9200（docker中容器的名称）添加i18n.locale: "zh-CN"界面语音修改为中文。
[实战] 基于Docker的EFK日志系统与使用经验( 一 )-EFK部署
weixin_34387468的博客
12-22 743
项目背景 随着业务的不断优化调整，开发的环境由传统环境转向Docker容器方向，各种开发过程和应用的日志变得更加种类繁多。 因此，集中式的日志管理与展示分析变得尤为重要。 项目实施架构 Docker环境搭建 Centos 7.5 docker ( 一 ) 安装 EFK简介 ## Elasticsearch ： 官网 https://www.elastic.co 分布式搜索引擎。具...
efk收集docker nginx日志
johnhuster的专栏
10-21 772
1、部署efk efk需要用到elasticsearch、fluentd以及kibana，nginx使用fluentd日志驱动将nginx docker日志转发到对应fluentd server端，fluentd server端将日志加工后传递到elasticsearch，存储到elasticsearch的数据就可以使用kibana展示出来。 2、部署ek环境， version: "3" ...
Docker+EFK 快速搭建日志收集系统(包含具体细节和操作使用说明）
bai_shuang的博客
07-26 3026
Docker+EFK 快速搭建日志收集系统(包含具体细节和操作使用说明）
使用docker部署EFK-7.8版本详细教程
W1124824402的博客
03-30 783
使用docker部署EFK7.8版本，部署简单详细。
docker efk
08-27
- Fluentd是一个开源的日志收集器，它可以从不同的来源（如应用程序、容器、操作系统等）收集日志数据，并将其发送到Elasticsearch进行存储和处理。 - Kibana是一个开源的数据可视化工具，它提供了一个用户友好的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

margu_168

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值