kubernetes系列之《k8s构建ELK日志平台》

最新推荐文章于 2024-05-18 08:00:00 发布
最新推荐文章于 2024-05-18 08:00:00 发布
阅读量6.6k 收藏 25
点赞数 1
分类专栏： docker，k8s，虚拟化
西西工作室
本文链接：https://blog.csdn.net/songxi_bo/article/details/105269339
版权

一、概述
目前主流日志收集系统为：Filebeat + ELK，本文尝试使用该系统对k8s里部署的Pod进行日志收集并加以图形可视化展示；

确定日志收集系统后，接下来就要搞清楚我们想要收集k8s的哪些日志？

这里思考主要日志收集如下：

K8S系统的组件日志
K8S Cluster里面部署的应用程序日志
日志收集方案：Filebeat + ELK
在这里插入图片描述

二、容器中日志收集方案
2.1、方案一：Node上部署一个日志收集程序
DaemonSet方式部署日志收集程序
对本节点/var/log/和/var/lib/docker/containers两个目录下的日志进行采集
Pod中容器日志挂载到宿主机统一目录上。
在这里插入图片描述
优点：

每个Node仅需部署一个日志收集程序，资源消耗少，对应用无入侵
缺点：

应用程序日志需要写到标准输出和标准错误输出，不支持多行日志收集
2.2、方案二：Pod中附加专用日志收集的容器
每个预应用程序的Pod中增加一个日志收集容器，使用emptyDir共享日志目录，让日志收集程序能够读取到。
在这里插入图片描述

优点：

低耦合
缺点：

每个Pod启动一个日志收集代理，增加资源消耗，并增加运维维护成本
2.3、方案三：应用程序直接推送日志
这超出了k8s的范围，需要开发配合定制，约定规范后，统一向日志收集入口推送日志；
在这里插入图片描述

优点：

无需额外收集工具
缺点：

侵入应用，增加应用复杂度
以上三个方案各有优缺点，这就意味着不同环境的选择也不同，本文采用第二种方案来进行试验。

三、部署ELK日志平台
ELK官网：https://www.elastic.co/cn/
配置yum源参考：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html

3.1、安装JDK
在所有节点上安装：

$ yum install -y java-1.8.0-openjdk
3.2、配置YUM源
[root@k8s-master-128 ~]# vim /etc/yum.repos.d/elk.repo
[logstash-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
3.3、安装ELK
在Master节点安装即可，因为这里是试验环境，可以不需要es为集群环境。

[root@k8s-master-128 ~]# yum install -y logstash elasticsearch kibana
3.4、EKL相关配置
这里主要对ES和kibana的主配置文件进行配置，指定相关IP和端口等。

配置ES：

[root@k8s-master-128 ~]# grep -Ev ‘#|$’ /etc/elasticsearch/elasticsearch.yml
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.type: single-node # 如果启动单节点，则需要添加此参数
注意，ES需要优化一些内核参数：

[root@k8s-master-128 ~]# vim /etc/security/limits.conf

End of file

  • soft nofile 60000
  • hard nofile 65535
  • soft nproc 65535
  • hard nproc 65535

[root@k8s-master-128 ~]# vim /etc/security/limits.d/20-nproc.conf

  • soft nproc 65535
    root soft nproc 65535
    运行： sysctl -p生效配置。

配置kibana：

[root@k8s-master-128 ~]# grep -Ev ‘#|$’ /etc/kibana/kibana.yml
server.port: 5601
server.host: “172.16.194.128”
server.name: “kibana”
elasticsearch.hosts: [“http://172.16.194.128:9200”]
elasticsearch.preserveHost: true
kibana.index: “.kibana”
i18n.locale: “zh-CN”
kibana汉化参考：https://github.com/anbai-inc/Kibana_Hanization

3.5、启动ES和Kibana
$ systemctl start elasticsearch
$ systemctl enable elasticsearch

$ systemctl start kibana
$ systemctl enable kibana

[root@k8s-master-128 ~]# netstat -lntup|grep java
tcp6 0 0 :::9200 ::😗 LISTEN 119229/java
tcp6 0 0 :::9300 ::😗 LISTEN 119229/java
访问kibana：http://172.16.194.128:5601

四、采集日志
4.1、采集K8s组件日志
采集日志客户端采用Filebeat来进行采集日志，使用ConfigMap的形式来存储Filebeat的配置，采用DaemonSet形式部署Filebeat到各个集群节点上，然后将配置文件和日志挂载到Filebeat的Pod中，利用Filebeat采集k8s的集群日志。

4.1.1、部署Filebeat日志收集客户端
[root@k8s-master-128 elk]# cat k8s-logs.yaml
apiVersion: v1
kind: ConfigMap # 保存Filebeat的配置信息
metadata:
name: k8s-logs-filebeat-config
namespace: kube-system

data:
filebeat.yml: |-
filebeat.prospectors:
- type: log
paths:
- /opt/kubernetes/logs/* # 指定k8s集群的采集日志目录，星号匹配所有该目录下的文件
fields:
app: k8s
type: module
fields_under_root: true

output.logstash:
  hosts: ['172.16.194.128:5044'] # 这里写logstash启动的监听地址和端口

apiVersion: apps/v1
kind: DaemonSet # 使用DaemonSet方式将Filebeat部署到集群每个节点上
metadata:
name: k8s-logs # Pod名称
namespace: kube-system # 指定运行命名空间
spec:
selector:
matchLabels:
project: k8s
app: filebeat
template:
metadata:
labels:
project: k8s
app: filebeat
spec:
containers:
- name: filebeat
image: docker.elastic.co/beats/filebeat:6.4.2
args: [
“-c”, “/etc/filebeat.yml”,
“-e”,
]
resources:
requests:
cpu: 100m
memory: 100Mi
limits:
cpu: 500m
memory: 500Mi
securityContext:
runAsUser: 0
volumeMounts:
- name: filebeat-config
mountPath: /etc/filebeat.yml
subPath: filebeat.yml
- name: k8s-logs
mountPath: /opt/kubernetes/logs
volumes:
- name: k8s-logs
hostPath:
path: /opt/kubernetes/logs # 将主机上的目录挂载到Pod容器里
- name: filebeat-config
configMap:
name: k8s-logs-filebeat-config # 指定configmap挂载到Pod容器里
部署Filebeat：

[root@k8s-master-128 elk]# kubectl create -f k8s-logs.yaml
configmap/k8s-logs-filebeat-config created
daemonset.apps/k8s-logs created
[root@k8s-master-128 elk]# kubectl get -f k8s-logs.yaml
NAME DATA AGE
configmap/k8s-logs-filebeat-config 1 6s

NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
daemonset.apps/k8s-logs 2 2 0 2 0 5s

[root@k8s-master-128 elk]# kubectl get pod -A|grep k8s-log
kube-system k8s-logs-7wwlx 1/1 Running 0 5m
kube-system k8s-logs-pd8m2 1/1 Running 0 5m
检测配置的日志目录是否有挂载到Pod中：

[root@k8s-master-128 elk]# kubectl exec -it -n kube-system k8s-logs-7wwlx bash
[root@k8s-logs-7wwlx filebeat]# ls -lh /opt/kubernetes/logs/ -d
drwxr-xr-x 2 root root 8.0K Jun 3 06:44 /opt/kubernetes/logs/
[root@k8s-logs-7wwlx filebeat]# cat /etc/filebeat.yml
filebeat.prospectors:

  • type: log
    paths:
    • /opt/kubernetes/logs/* # 指定k8s集群的采集日志目录，星号匹配所有该目录下的文件
      fields:
      app: k8s
      type: module
      fields_under_root: true

output.logstash:
hosts: [‘172.16.194.128:5044’] # 这里写logstash启动的监听地址和端口
能看到配置文件和日志目录都正常挂载到Pod容器里。

4.1.2、配置Logstash接收日志
配置logstash接收日志，stdout {codec => rubydebug } 用于答应日志到控制台方便调试。

[root@k8s-master-128 elk]# cat filebeat-to-logstash.conf
input {
beats {
port => 5044
}
}

filter {
}

output {
if [type] == “module” {
elasticsearch {
hosts => [“http://127.0.0.1:9200”]
index => “k8s-log-%{+YYYY.MM.dd}”
}
}
stdout { codec=> rubydebug }
}
启动logstash：

调试启动

[root@k8s-master-128 elk]# /usr/share/logstash/bin/logstash -f filebeat-to-logstash.conf

守护程序启动：需要编辑配置文件，去掉stdout配置

[root@k8s-master-128 elk]# cp filebeat-to-logstash.conf /etc/logstash/conf.d/logstash.conf
[root@k8s-master-128 elk]# systemctl start logstash

[root@k8s-master-128 ~]# netstat -lntup|grep java
tcp6 0 0 :::9200 ::😗 LISTEN 119229/java
tcp6 0 0 :::5044 ::😗 LISTEN 710/java
tcp6 0 0 :::9300 ::😗 LISTEN 119229/java
tcp6 0 0 127.0.0.1:9600 ::😗 LISTEN 710/java
启动后，logstash将会把Filebeat写进来的日志再写入ES数据库，然后由kibana来展示日志数据

4.1.3、配置Kibana展示日志
第一步：点击设置–>创建索引–>匹配索引 （k8s-log-*）
在这里插入图片描述

第二步：匹配到索引后，点击创建，然后查看数据

在这里插入图片描述
4.2、采集Pod容器日志
采集容器日志，这里选择方案二，在Pod里附加Filebeat容器，专门为这个Pod提供日志采集服务

4.2.1、编写Filebeat配置文件
与上相同，采用ConfigMap来保存Filebeat的配置文件，然后启动Pod时挂载到Pod里的容器里

[root@k8s-master-128 elk]# cat filebeat-nginx-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-nginx-config
namespace: kube-system

data:
filebeat.yml: |-
filebeat.prospectors:
- type: log
paths:
- /var/log/nginx/access.log
# tags: [“access”]
fields:
app: www
type: nginx-access
fields_under_root: true

  - type: log
    paths:
      - /var/log/nginx/error.log
    # tags: ["error"]
    fields:
      app: www
      type: nginx-error
    fields_under_root: true

output.logstash:
  hosts: ['172.16.194.128:5044']

创建：

[root@k8s-master-128 elk]# kubectl create -f filebeat-nginx-configmap.yaml
configmap/filebeat-nginx-config created
[root@k8s-master-128 elk]# kubectl get -f filebeat-nginx-configmap.yaml
NAME DATA AGE
filebeat-nginx-config 1 10s
4.2.2、创建Pod
[root@k8s-master-128 elk]# cat nginx-deployment.yaml
apiVersion: apps/v1beta1
kind: Deployment
metadata:
name: nginx-demo
namespace: kube-system
spec:
replicas: 3
selector:
matchLabels:
project: www
app: nginx-demo
template:
metadata:
labels:
project: www
app: nginx-demo
spec:
#imagePullSecrets:
#- name: registry-pull-secret
containers:
- name: nginx
image: nicksors/nginx:v1 # 必须要确保此镜像的日志目录与Filebeat配置的收集目录一致
ports:
- containerPort: 80
name: web
protocol: TCP
resources:
requests:
cpu: 0.5
memory: 256Mi
limits:
cpu: 1
memory: 1Gi
livenessProbe:
httpGet:
path: /index.html
port: 80
initialDelaySeconds: 6
timeoutSeconds: 20
volumeMounts:
- name: nginx-logs
mountPath: /var/log/nginx/

  - name: filebeat
    image: docker.elastic.co/beats/filebeat:6.4.2
    args: [
      "-c", "/etc/filebeat.yml",
      "-e",
    ]
    resources:
      limits:
        memory: 500Mi
      requests:
        cpu: 100m
        memory: 100Mi
    securityContext:
      runAsUser: 0
    volumeMounts:
    - name: filebeat-config
      mountPath: /etc/filebeat.yml
      subPath: filebeat.yml
    - name: nginx-logs
      mountPath: /var/log/nginx/

  volumes:
  - name: nginx-logs
    emptyDir: {}
  - name: filebeat-config
    configMap:
      name: filebeat-nginx-config

创建：

[root@k8s-master-128 elk]# kubectl create -f nginx-deployment.yaml
deployment.apps/nginx-demo created
[root@k8s-master-128 elk]# kubectl get -f nginx-deployment.yaml
NAME READY UP-TO-DATE AVAILABLE AGE
nginx-demo 3/3 3 3 30s
4.2.3、配置Logstash接收日志
[root@k8s-master-128 elk]# vim /etc/logstash/conf.d/logstash.conf
input {
beats {
port => 5044
}
}

filter {
}

output {
if [type] == “module” {
elasticsearch {
hosts => [“http://127.0.0.1:9200”]
index => “k8s-log-%{+YYYY.MM.dd}”
}
}
if [type] == “nginx-access” {
elasticsearch {
hosts => [“http://127.0.0.1:9200”]
index => “nginx-access-%{+YYYY.MM.dd}”
}
}
if [type] == “nginx-error” {
elasticsearch {
hosts => [“http://127.0.0.1:9200”]
index => “nginx-error-%{+YYYY.MM.dd}”
}
}
}
重启logstash：

systemctl restart logstash
4.2.4、配置Kibana展示日志
配置方法与上同，索引必须得写入es，才可以在kibana上添加索引和显示数据。
匹配索引：nginx-access* ，nginx-
在这里插入图片描述

查看Pod访问日志：
在这里插入图片描述

至此，使用Filebeat + ELK搭建的日志收集平台，完成了对k8s集群组件日志的监控，以及对集群内部署的Pod容器日志进行监控；本文也是先入门，后面各种监控方法还待自行研究，比如如何批量配置监控等。

被遗忘的区域
关注
  • 1
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
K8S搭建ELK(Elasticsearch,Kibana,Logstash和Filebeat）
Soft_Engneer的专栏
05-03 1万+
K8S环境从零搭建ELK（Elasticsearch,Kibana,Logstash和Filebeat），详细、完整的操作步骤，手把手教你搭建自己的ELK日志收集系统。
使用kubernetes部署ELK日志系统
07-24
在这个场景下，我们将讨论如何利用Kubernetes（简称k8s）这一强大的容器编排平台来部署ELK日志系统。 首先，`elasticsearch.yaml` 文件代表了Elasticsearch的部署配置。Elasticsearch是一个分布式、RESTful风格的...
k8s-elk:Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰
05-18
Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰 该存储库当前包含ElasticSearch和Kibana配置。 ElasticSearch以3种形式运行。 第一个是“主”类型，这是ElasticSearch文档中的主类型。 第二种类型是“摄取”类型，这是ElasticSearch文档中的摄取类型。 接收节点包括一个基于CPU使用率的horizo​​ntalalPodAutoscaler，这些节点连接到Kibana的内部服务以及外部HTTP输入的外部服务。 第三种类型是“数据”节点。 这些是使用statefulSet和PersistentVolumeClaims构造的，它们会相应缩放。 您只能按比例缩放（+ 1，-1，到最新的容器），并且所有通用的ElasticSearch规则都适用（如果删除的节点数量超过允许群集重新平衡自身之间无法承受
K8s 搭建 FileBeat+ELK 分布式日志收集系统 以及 KQL 语法介绍
最新发布
小毕超博客
05-18 990
Filebeat 是一个轻量级的日志传输工具，它负责收集日志数据并将其传输到Elasticsearch进行索引和存储。ELK是Elasticsearch、Logstash和Kibana三个开源项目的首字母缩写，它们共同构成了一个强大的日志管理和分析平台。
kubernetes(k8s) 安装 elk
会哭的雨@的博客
10-28 6508
kubernetes(k8s) 安装 elk elk是elasticsearch,logstash,kibana的缩写，组成了日志收集的服务端。在看这篇文章，要先了解以下二篇文章： ubuntu elasticsearch,logstash,kibana,filebeat安装配置 kubernetes(k8s) 集群 安装配置 一，elk的选择 方案一，用k8s分别安装elasticsearch,logstash,kibana，配置要复杂一点，但是灵活度要高一点 方案二，用已集...
k8s部署ELK高可用集群（一）
qq1299674780的博客
12-07 1064
而Fluentd是一个流行的开源数据收集器，用于获取容器日志文件、过滤和转换日志数据，然后将数据传递到Elasticsearch集群，在该集群中对其进行索引和存储。此外，结合Logstash具有基于磁盘的自适应缓冲系统，可以吸收传入的吞吐量，从而减轻Elasticsearch持续写入数据的压力。ELK可以将我们的系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清洗，然后进行集中存放并可用于实时检索。这里使用的是NFS的存储类动态创建，要使用静态的可以看前面的mysql那节。
在k8s集群部署ELK
jialiu111111的博客
02-23 2763
使用kubeadm或者其他方式部署一套k8s集群。在k8s集群创建一个namespace：halashow。
k8s-elk.tar.gz
01-12
标题 "k8s-elk.tar.gz" 暗示了一个基于Kubernetes（k8s）部署的ELK（Elasticsearch, Logstash, Kibana）日志管理系统，结合了Kafka和Filebeat组件。ELK是流行的数据收集、分析和可视化解决方案，尤其适用于日志管理...
Kubernetes学习笔记，K8S学习
02-01
Kubernetes，简称K8S，是一种流行的容器编排系统，用于自动化容器化应用的部署、扩展和管理。在Kubernetes中，Pod是最基本的部署单元，它承载了一个或多个紧密关联的容器，这些容器共享同一个网络命名空间和存储资源...
阿里Kubernetes（k8s）详解
09-02
阿里Kubernetes（k8s）详解 Kubernetes（简称k8s）是由Google开源的一款容器编排系统，现由CNCF（Cloud Native Computing Foundation）维护。阿里云作为国内领先的云计算服务提供商，深度参与了Kubernetes的发展，...
k8s集群环境搭建资源
10-27
9. **日志、监控和调试**：k8s集群通常集成Prometheus、Grafana进行性能监控，ELK（Elasticsearch、Logstash、Kibana）或Fluentd用于日志收集，以及kubectl命令行工具进行集群管理和调试。 10. **扩展性**：k8s集群...
k8s部署 elk（Elasticsearch,Kibana,Logstash,Redis,Filebea）
疯飙的蜗牛
06-16 3249
k8s 配置 elk
k8s集群部署elk
ApexPredator的博客
03-15 1987
k8s集群部署elk
ELK 日志系统收集K8s中日志
weixin_48190863的博客
04-09 2297
• K8s弹性伸缩性：导致不能预先确定采集的目标• 容器隔离性：容器的文件系统与宿主机是隔离，导致日志采集器读取日志文件受阻。
Kubernetes中部署ELK Stack日志收集平台
wanger5354的博客
07-21 408
主要内容 1 ELK概念 2 K8S需要收集哪些日志 3 ELK Stack日志方案 4 容器中的日志怎么收集 5 部署操作步骤 准备环境 一套正常运行的k8s集群，kubeadm安装部署或者二进制部署即可 1 ELK概念 ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷
k8s-9.部署elk日志收集
mingqing的博客
07-31 1546
https1、helm是k8s包管理工具，可以方便的把之前打包好的yaml文件部署到k8s上。2、helm三个重要概念(1)heml是命令行客户端工具，用于chart创建、打包、发布、部署管理(2)Chart把yaml文件进行打包，yaml的集合(3)Release基于chart部署的实体，应用级别的版本管理三、helm在2019年发布V3版本，有变化(1)Tiller被移除(2)Release支持在不同命名空间进行重用(3)Chart可以推送到Docker镜像仓库中。...
k8s pod日志写入ELK的实现方案
shigen的博客
12-11 154
shigen坚持更新文章的博客写手，擅长Java、python、vue、shell等编程语言和各种应用程序、脚本的开发。记录成长，分享认知，留住感动。​ 最近在研究一个很有意思的事情：如何收集k8spod里的日志。问题就是这的简单，但是实现下来就有一点点的复杂了。这里，我们先来捋一下k8s的架构图，我就不整那么复杂了，什么api-serverkubelet之类的。我们就简化一点：以下是一主三从的k8s集群。每一个从节点都有对应的pod在运行，具体的pod运行什么，这个就是master节点来决定。
kubersphere部署elk集群无tls
求道问术
07-04 952
kubernates部署elk集群
ELK集群搭建/K8S集群日志采集
jfcjjg的博客
11-24 3814
部署ELK-7.12.0一、所需的基础环境1、JDK环境2、磁盘配置3、修改操作系统限制二、部署ES 1、创建路径2、修改配置3、启动三、安装es-head三、安装kibana四、安装filebeat 一、所需的基础环境 部署包 提取码：anmc 1、JDK环境 对应版本对应支持的JDK环境也有所差异，但基本都支持JDK1.8 三台机器都需要执行 [root@node1 /]# mkdir /home/apps [root@node1 /]# cd /home/apps [root@node1 apps]#

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值