Kubernetes实录-第一篇-集群部署配置(24) Kubernetes日志方案-使用EFK实现日志管理(1)-介绍与架构概要

最新推荐文章于 2024-09-11 11:00:10 发布
最新推荐文章于 2024-09-11 11:00:10 发布
阅读量268 收藏 1
点赞数
分类专栏： Kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oyym_mv/article/details/107696107
版权

Kubernetes实录系列记录文档完整目录参考: Kubernetes实录-目录

相关记录链接地址 ：

一、Kubernetes集群日志方案介绍

1.1 在Kubernetes日志管理方案中，日志大致可以分为三个级别

  • 第一级别是Pod/container中程序产生的应用日志
    Pod/container级别的日志，默认指定程序输出到标准输出，docker日志驱动器默认使用json格式将日志存储在/var/lib/docker/containers目录下，可以通过kubectl logs获取到日志。
    由于日志存储在Node节点的/var/lib/docker/containers，可以在第二级别Node节点统计收集容器日志

  • 第二级别是Node级别的系统日志
    在Node节点上，非集群管理的容器输出到stdout和stderr的信息由容器引擎处理和重定向，默认情况下docker使用的日志驱动是json-file并将日志重定向到/var/lib/docker/containers目录下。从Node驱逐的Pod，其中中所有容器连同日志一起被驱逐而无法再查阅获取。

    在Node节点上，除了容器重定向的日志，还有非容器化组件日志输出到相关日志目录或者journald

    Node节点日志存储一般是本地存储，容量是一定的。日志时实时增加的一般需要进行日志流转(logrotate)，Kubernetes不解决这个问题，需要自行配置。

    使用kubeadm部署的Kubernetes集群kube-apiserver，kube-proxy，kuber-scheduler，kube-controller-manager在容器中部署，日志记录方式与普通Pod/container没有区别。docker运行时和kubelet是非容器化服务，在centos7上日志输出到journald

  • 第三级别是集群级别的日志收集方案
    集群级别日志应该具有独立于Node、Pod或者容器的单独存储和生命周期。将Kubernetes集群日志（包括Node节点日志，服务组件日志，应用程序日志）统一收集独立存储，进行查询和展示。

1.2 Kubernetes集群级别收集日志方式

  • 在Kubernetes节点上运行一个日志收集的Agent来收集日志
  • Pod 中包含一个 sidecar 挎斗容器来收集应用日志，直接输出到存储后端或者重定向到stdout/stderr
  • 应用程序中将日志信息推送到日志采集存储后端
    在这里插入图片描述

1.3 Kubernetes日志管理方案

方案的关键在于将所有需要收集的日志全部收集传输到日志存储后端，综合Kubernetes集群日志类型以及收集方式我们采用Kubernetes官方推荐的EFK日志系统实现集群日志管理。(备注：EFK=ElasticSearch，Fluentd，Kibana)

  1. 部署配置ElasticSearch用于存储和检索集群日志信息
  2. 每个节点部署配置Fluentd作为agent收集集群日志，可以收集节点非容器日志，以及基于stdout/stderr的容器化日志；
  3. 部署配置Kibana用于日志可视化以及查询检索

!
另外，应用程序本身的日志有2中方式进行收集：

  • 一种是将日志打印到标准输出与标准错误(如果日志直接存储在了日志文件中，可以通过sidecar挎斗容器重定向到stdout/stderr)，这样应用程序的日志收集方式就涵盖在上面介绍的EFK方案里直接收集掉了；
  • 还有一种是应用程序通过SDK编程直接将日志发生到日志存储后端（如，ElasticSearch）
毛小威
关注
专栏目录
k8s部署efk
qq_27224655的博客
06-01 621
efk k8s
部署EFK
m0_59430185的博客
11-22 889
文章目录前言一、拓扑图二、配置环境三、配置tomcat服务器1. 安装 JDK ，配置 JAVA 环境2. 安装配置 Tomcat3. Tomcat 配置说明4. 启动 Tomcat5. 优化 Tomcat 启动速度四、配置 Elasticsearch 环境五、安装elasticsearch集群1.部署 Elasticsearch 软件3.安装 elasticsearch-head 插件六、部署filebeat七、node1安装 Kibana 前言 通过filebeat监控tomcat日志，提交给es，并由
K8s中EFK日志采集部署
最新发布
qianshang666的博客
09-11 1202
Kubernetes 集群作为一个整体，我们需要统一收集日志。但是 Kubernetes 并不提供任何日志收集功能，因此您需要设置一个集中的日志后端
EFK架构部署
m0_68858390的博客
04-18 1225
7.17版本。
基础EFK部署
无痕有静
05-20 2304
EFK 原理及基础 ELFK E:elasticsearch -- 高性能，近实时的，分布式搜索引擎数据库 L:logstash -- 启动慢 F:filebeat -- 轻，比logstash启动快的多 K:kibana -- ELFK功能 E:elasticsearch 存储数据 L:logstas...
kubernetes-kargo-logging-monitoring：使用kargo部署kubernetes集群
02-03
通过具有日志记录（EFK）和监视（Prometheus）支持的kargo部署kubernetes 您会得到什么： Kargo ：一种强大，灵活的方式来构建，热升级/迁移和扩展kubernetes（k8s） 正在运行的主节点的X数量：k8（用于容器编排）...
kube-ansible：通过Ansible剧本构建Kubernetes集群
01-31
一套用于在机器上部署/管理/升级Kubernetes集群的手册，它们是完全自动化的命令，可以在裸机或VM上启动Kubernetes集群。 功能列表： 支持Kubernetes v1.10.0 + 高可用的Kubernetes集群 完整的二进制文件安装。 ...
Kubernetes 1.9 HA集群部署：Heapster、DNS、EFK与Dashboard安装指南
本文档详细介绍了如何在Kubernetes 1.9环境中进行堆ster、dashboard、DNS（kube-dns）和ELK（Elasticsearch, Logstash, Kibana）日志管理系统的安装与部署，同时涉及搭建私有Docker Harbor仓库以及高可用性集群的...
Linux-Atomic-Host-7-Getting-Started-with-Kubernetes-en-US
05-19
3. 监控与日志：集成Prometheus、Grafana等工具进行性能监控，使用Elasticsearch、Fluentd、Kibana（EFK堆栈）收集和分析日志。 4. 安全性：通过Service Accounts和Role-Based Access Control（RBAC）增强安全性，...
kubernetes-handbook
10-11
- **设计理念**：Kubernetes的设计遵循了Google内部大规模生产环境的经验和技术积累，强调自动化管理和弹性伸缩能力，支持微服务架构下的应用部署与管理。 - **自动调度**：根据资源需求自动分配容器到节点。 - **...
EFK部署及应用
tootsy_you的博客
10-11 1760
概述 EFK可能都不熟悉，实际上EFK是大名鼎鼎的日志系统ELK的一个变种。 在没有分布式日志的时候，每次出问题了需要查询日志的时候，需要登录到Linux服务器，使用命令cat -n xxxx|grep xxxx 搜索出日志在哪一行，然后cat -n xxx|tail -n +n行|head -n 显示多少行，这样不仅效率低下，而且对于程序异常也不方便查询，日志少还好，一旦整合出来的日志达到几个...
k8s之部署EFK
weixin_43757555的博客
09-05 1362
代码托管在GitHub,地址为： https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch mkdir /root/efk #获取六个文件放在efk中，fluentd-es-configmap.yaml、fluentd-es-ds.yaml、es-statefulset.yaml、 kibana-deployment.yaml、kibana-service.yaml、es-servi
K8S 部署 EFK
小五
07-05 945
如果能打开这个网址的话直接用这个命令安装,打不开的话可能需要挂梯子。安装operator 和 RBAC 规则安装好以后查看。
EFK环境搭建（基于K8S环境部署）
m0_71163619的博客
04-17 1785
控制器部署fluentd组件，这样可以保证集群中的每个节点都可以运行同样fluentd的pod副本，这样就可以收集k8s集群中每个节点的日志，在k8s集群中，容器应用程序的输入输出日志会重定向到node节点里的json文件中，fluentd可以tail和过滤以及把日志转换成指定的格式发送到elasticsearch集群中。链接：https://pan.baidu.com/s/1ttMaqmeVNpOAJD8G3-6tag。4.1创建运行nfs-provisioner需要的账号。在master1上执行。
efk8.0.1部署
weixin_39934651的博客
04-08 1647
1.初始化系统 1.1修改文件限制 vi /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 4096 * hard nproc 4096 1.2调整虚拟内存 最大并发连接 vim /etc/sysctl.conf vm.max_map_count=262144 fs.file-max=655360 vm.swappiness=0 sysctl .
k8s搭建EFK(Elasticsearch,Kibana,Filebeat)
吴广智的博客
06-02 3608
在k8s集群内搭建EFK做日志采集和展示
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值