OpenShift 4 - 可观测性之 OpenShift Logging - Loki（附视频）

已于 2024-12-23 08:44:17 修改
阅读量997 收藏
点赞数
文章标签： openshift
于 2023-07-05 16:27:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43902588/article/details/131151776
版权
文章介绍了OpenShift如何从EFK转向基于Loki的日志架构，以实现更轻量级和高效的日志处理。内容包括Loki和Vector组件的使用，以及如何配置使用MinIO或AWSS3作为对象存储的详细步骤。此外，还涉及了在OpenShift环境中安装和配置LokiOperator、OpenShiftLoggingOperator，以及设置ClusterLogging和ClusterLogForwarder以收集和访问日志。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

《OpenShift / RHEL / DevSecOps 汇总目录》
说明：本文已经在 OpenShift 4.15 + Loki Operator 5.9.3 + OpenShift Logging Operator 5.8.8 以及 OpenShift 4.18 + Loki Operator 6.1.0 + OpenShift Logging Operator 6.1.0 环境中验证。

文章目录

OpenShift 基于 Loki 的日志架构

在 OpenShift 4.10 以后开始逐步用基于 Vector+Loki 的日志架构替换原有基于 EFK 的日志架构。之所以用 Loki 替换 EFK 主要是因为 Loki 有更加轻量级的运行环境。这是因为在 EFK 架构中 Elasticsearch 会对传入的日志记录进行完全索引，而 Loki 只对一些固定的标签进行索引，并将更复杂的解析工作推迟到日志被存储之后，因此 Loki 不但占用空间更小，而且还可以更快速地收集日志。
在这里插入图片描述
OpenShift 基于 Loki 的日志架构主要使用了 2 个组件：Vector 和 Loki。其中 Vector 用来收集日志，Loki 作为存储日志，另外访问日志页面也直接集成到了 OpenShift 控制台中。需要注意的是 Loki 必须使用对象存储来保存日志。

安装配置基于 Loki 的日志环境

安装 Operator

  1. 使用默认配置安装 OpenShift Logging Operator，该 Operator 将会安装在 openshift-logging 命名空间中。
  2. 使用默认配置安装 Loki Operator，该 Operator 将会安装在 openshift-operators-redhat 命名空间中。
  3. 如果用的是 OpenShift Logging Operator 6.1.0，还可以使用默认配置安装 Cluster Observability Operator 0.4.1 (可以将日志界面嵌入到 OpenShift Console 中)，该 Operator 将会安装在 openshift-operators 命名空间中。

配置对象存储

可以使用以下任一种 S3 对象存储作为 Loki 的存储。

使用 MinIO 对象存储

  1. 参考《OpenShift 4 - 基于 MinIO 安装 Red Hat Quay 镜像仓库》一文的 “安装 MinIO” 一节安装 MinIO 环境，然后创建名为 loki-logging 的 bucket 和 user (用户名和密码为 loki/openshift4，权限为 readwrite)。
  2. 创建访问 loki 存储桶的 Secret。
$ oc apply -f - << EOF
apiVersion: v1
kind: Secret
metadata:
  name: lokistack-dev-s3
  namespace:  openshift-logging
stringData:
  access_key_id: loki
  access_key_secret: openshift4
  bucketnames: loki-logging
  endpoint: http://minio-svc.minio-dev.svc:9000
  insecure: "true"
EOF

使用 AWS 对象存储

  1. 执行命令创建访问 AWS 的凭证文件，其中我们会用到 us-east-1 区的 AWS S3 服务。
$ aws configure
AWS Access Key ID [None]: AKIAVROBYTZYQBBNWLF6
AWS Secret Access Key [None]: 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
Default region name [None]: us-east-1
Default output format [None]: json
 
$ cat .aws/credentials
[default]
aws_access_key_id = AKIAVROBYTZYQBBNWLF6
aws_secret_access_key = 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
  1. 在 AWS 上创建 S3 存储的 bucket。
$ GUID=`hostname | cut -d. -f2`
$ aws --profile default s3api create-bucket --bucket $GUID --region us-east-1 --create-bucket-configuration LocationConstraint=us-east-1
{
    "Location": "/j68pw"
}
  1. 基于以下 YAML 创建访问 AWS bucket 的 Secret 对象。
apiVersion: v1
kind: Secret
metadata:
  name: lokistack-dev-s3
  namespace: openshift-logging
stringData:
  access_key_id: w3EDfSERUiLSAEXAMPLE (Replace with your aws creds)
  access_key_secret: mshdyShDTYKWEywajsqpshdNSUWJDA+1+REXAMPLE (Replace with your aws creds)
  bucketnames: j68pw (we called it j68pw in our example)
  endpoint: https://s3.us-east-1.amazonaws.com/
  region: us-east-1

配置基于 Loki 的 OpenShift Logging (Loki Operator 5.9.3 + OpenShift Logging Operator 5.8.8)

  1. 在 Loki Operator 中根据以下 2 个截图创建一个 LokiStack 对象。
    在这里插入图片描述

以下 Storage Class Name 为可提供 RWO 存储的存储类即可。
在这里插入图片描述
上述配置过程会生成以下 YAML，其中 gp2-csi 是 OpenShift 中已有的 StorageClass。

apiVersion: loki.grafana.com/v1
kind: LokiStack
metadata:
  name: loki-logging
  namespace: openshift-logging
spec:
  size: 1x.extra-small
  storage:
    schemas:
    - version: v13
      effectiveDate: "2023-10-15"
    secret:
      name: lokistack-dev-s3
      type: s3
  storageClassName: gp2-csi
  managementState: Managed
  hashRing:
    type: memberlist 
  tenants:
    mode: openshift-logging
  1. 基于以下 YAML 创建一个基于 lokistack 存储和 vector 收集器的 ClusterLogging 对象。
apiVersion: logging.openshift.io/v1
kind: ClusterLogging
metadata:
  name: instance
  namespace: openshift-logging
spec:
  logStore:
    type: lokistack
    lokistack:
      name: loki-logging
  collection:
    type: vector
  visualization:
    type: ocp-console
  managementState: Managed
  1. 基于以下 YAML 创建一个 LogFileMetricExporter 对象。说明：当使用 OpenShift Logging Operator 5.8.8 时无需此步操作，不过和 https://docs.openshift.com/container-platform/4.15/observability/logging/logging_release_notes/logging-5-8-release-notes.html#logging-release-notes-5-8-0-enhancements 似乎不一致。
apiVersion: logging.openshift.io/v1alpha1
kind: LogFileMetricExporter
metadata:
  name: instance
  namespace: openshift-logging
spec:
  resources:
    limits:
      cpu: 500m
    requests:
      cpu: 200m
      memory: 128Mi
  tolerations:
    - effect: NoSchedule
      key: node-role.kubernetes.io/master
      operator: Exists
  1. 在完成后可在 OpenShift 的 “开发者” 视图中看到部署运行的组件。说明：此图不包括上一步说的 LogFileMetricExporter 对象。
    在这里插入图片描述
  2. 刷新 OpenShift 的 “管理员” 视图，在 “观察” 菜单中会出现 “Logs” ，点击进入 Logs 可以看到集群日志。
    在这里插入图片描述
  3. 为了能获得并访问 Auditor 日志，需根据以下 YAML 创建 ClusterLogForwarder 对象。
apiVersion: logging.openshift.io/v1
kind: ClusterLogForwarder
metadata:
  name: instance
  namespace: openshift-logging
spec:
  pipelines:
  - name: all-to-default
    inputRefs:
    - infrastructure
    - application
    - audit
    outputRefs:
    - default

配置基于 Loki 的 OpenShift Logging (Loki Operator 6.1.0 + OpenShift Logging Operator 6.1.0 + COO 0.4.1)

  1. 参照上一节第一步的配置创建一个 LokiStack 对象。
apiVersion: loki.grafana.com/v1
kind: LokiStack
metadata:
  name: loki-logging
  namespace: openshift-logging
spec:
  size: 1x.extra-small
  storage:
    schemas:
    - version: v13
      effectiveDate: "2023-10-15"
    secret:
      name: lokistack-dev-s3
      type: s3
  storageClassName: gp2-csi
  managementState: Managed
  hashRing:
    type: memberlist 
  tenants:
    mode: openshift-logging
  1. 在 openshift-logging 项目中创建名为 collector 的 ServiceAccount。
$ oc create sa collector -n openshift-logging
  1. 给名为 collector 的 ServiceAccount 添加角色。
$ oc -n openshift-logging adm policy add-cluster-role-to-user logging-collector-logs-writer -z collector
$ oc -n openshift-logging adm policy add-cluster-role-to-user collect-application-logs -z collector
$ oc -n openshift-logging adm policy add-cluster-role-to-user collect-audit-logs -z collector
$ oc -n openshift-logging adm policy add-cluster-role-to-user collect-infrastructure-logs -z collector
  1. 在 Cluster Observability Operator 中创建一个 UIPlugin 对象。完成后可刷新 OpenShift 控制台，在 “观察” 菜单中会出现 “Logs” ，但此时日志还不能显示出来。
apiVersion: observability.openshift.io/v1alpha1
kind: UIPlugin
metadata:
  name: logging
spec:
  logging:
    lokiStack:
      name: loki-logging
  type: Logging
  1. 在 OpenShift Logging Operator 中创建一个 ClusterLogForwarder 对象，将 OpenShift 的 Application、Infrastructue、Audit 日志传给 Loki。
apiVersion: observability.openshift.io/v1
kind: ClusterLogForwarder
metadata:
  name: clf-loki
  namespace: openshift-logging
spec:
  managementState: Managed
  outputs:
    - lokiStack:
        authentication:
          token:
            from: serviceAccount
        target:
          name: loki-logging
          namespace: openshift-logging
      name: default-lokistack
      tls:
        ca:
          configMapName: openshift-service-ca.crt
          key: service-ca.crt
      type: lokiStack
  pipelines:
    - inputRefs:
        - application
        - infrastructure
        - audit
      name: logs-to-loki
      outputRefs:
        - default-lokistack
  serviceAccount:
    name: collector
  1. 点击进入 “观察” 菜单的 “Logs” ，可以看到集群的 Application、Infrastructue、Audit 日志。
    在这里插入图片描述

验证应用日志

  1. 参考《OpenShift 4 - 配置 OpenShift 的 EFK 日志环境》的 “查看应用日志” 一节部署测试应用。
  2. 在运行的 Pod 中可以看到 Aggregated Logs 标签，确认是发给 Loki 的应用日志。
    在这里插入图片描述
  3. 进入“观察”的 Logs 菜单，可以选则按 Namespace 过滤，命名空间选中 log-app。此时只会显示 log-app 项目中的应用日志。
  4. 再点击 Show Resources ，可显示日志的来源。
  5. 点击 Show Query 后在输入区可以看到 { log_type="application", kubernetes_namespace_name="log-app" } | json。可手工编辑日志查询条件，然后点击 Run Query 按钮执行日志查询。
    在这里插入图片描述

视频

视频

参考

https://github.com/OpenShiftDemos/openshift-ops-workshops/blob/ocp4-prod/workshop/content/logging.adoc
https://github.com/OpenShiftDemos/openshift-ops-workshops/blob/ocp4-prod/workshop/content/logging-with-loki.adoc
https://www.redhat.com/en/topics/devops/what-is-observability
https://landscape.cncf.io/guide#observability-and-analysis
https://cloud.redhat.com/blog/whats-new-in-red-hat-openshift-monitoring-4.13-logging-5.7-and-distributed-tracing-2.8
https://docs.openshift.com/container-platform/4.16/logging/cluster-logging.html
https://github.com/grafana/loki/blob/main/operator/hack/lokistack_gateway_ocp.yaml
https://github.com/OpenShiftDemos/openshift-ops-workshops/blob/ocp4-prod/workshop/content/logging-with-loki.adoc
https://videos.learning.redhat.com/media/OpenShift%20Logging%20-%20Technical%20Enablement%20-%20Log-based%20Alerts/1_fl713aj5
https://docs.redhat.com/zh_hans/documentation/openshift_container_platform/4.17/html-single/logging/index

dawnsky.liu
关注
第66章：多集群架构设计与管理策略
上海交通大学电院毕业，现互联网大厂开发工程师
03-27 41
规模扩展：单集群节点数量存在上限（通常建议不超过5000个节点）故障隔离：避免单点故障影响整个基础设施地理分布：支持全球化业务，降低访问延迟多云/混合云策略：避免云厂商锁定，利用不同云服务的优势合规要求：满足数据主权和行业监管要求资源隔离：为不同团队、环境或租户提供隔离的资源灾难恢复：提供跨区域/跨数据中心的业务连续性保障渐进式升级：降低升级风险，支持蓝绿部署和金丝雀发布多集群Kubernetes架构为企业提供了强大的容器编排解决方案，能够满足高可用性、灾难恢复、地理分布和多租户隔离等需求。
从零开始，轻松理解云原生的核心概念和关键技术
低调，谦虚，自律，反思，成长，保持热爱，奔赴梦想
03-03 1539
从零开始了解云原生
loki-rule-operator:Kubernetes Operator，可帮助您为Loki设置配置警报规则
04-12
loki-rule-operator Loki-rule-operator是轻量级的Kubernetes运算符，可将LokiRule和GlobalLokiRule自定义资源定义添加到集群中。 这些资源有助于为您的配置。 例子 apiVersion : logging.opsgy.com/v1beta1 kind : LokiRule metadata : name : credentials-leak namespace : prod spec : groups : - name : credentials_leak rules : - alert : http-credentials-leaked annotations : message : ' {{ $labels.job }} is leaking http basic
安装 OpenShift日志 Logging
Christina の Blog
03-08 477
前提: 已经拥有 OpenShift4.6 cluster Elasticsearch节点都需要自己的存储卷,默认情况下OCP安装 3 个Elasticsearch节点,内存限制为 16GB 使用 WEB控制端安装 OpenShift Logging 安装 Elasticsearch Operator 确认 Status 是 Succeeded 安装OpenShift Elasticsearch Operator 点击 Install 安装OpenShift Logging 创建 Op
OpenShift网络概念及配置示例
最新发布
人人可学，人人可用，IT与AI不是高不可攀！
04-15 1154
OpenShift网络概念及配置示例
Openshift日志管理
haiziccc的专栏
05-30 1264
通常采用EFK进行openshift集群日志管理。 EFK集群：Elasticsearch、Fluentd 和 Kibana 的组合 那么如果需要将openshift日志发给外部系统呢，当然有很多方法，比如通过Flentd或者Elasticsearch发送。 下面介绍通过Fluentd发送日志给外部日志服务器： 1.首先，要修改集群日志管理状态为“Unmanaged”，命令如下，修改 managementState: Unmanaged oc edit ClusterLogging in...
Openshift
summer_fish的专栏
07-31 417
OpenShift 是一个由 Red Hat 公司开发和维护的容器应用平台，OpenShift 可以在本地部署或者使用 Red Hat 的托管服务（OpenShift Online、OpenShift Dedicated）。
openshift
weixin_44742630的博客
08-09 175
Openshift 部署文档 环境规划 地址 节点名 功能 192.168.11.200 master Master节点、etcd 192.168.11.201 node1 node1节点 192.168.11.202 Node2 node2节点 基本配置 **所有节点 ** host文件配置 $ vim /etc/hosts 192.168.11.200 master.example.com 192.168.11.201 node1.example.com infra-no
OpenShift-介绍
Andya_net的博客
03-03 1252
OpenShift介绍   OpenShift是红帽Red Hat公司基于开源的云平台，是平台即服务（PaaS），是一种容器应用平台。允许开发人员构建、测试和部署云应用。该系统是在K8s核心之上添加工具，从而实现更快的应用开发、部署及扩展。 OpenShift支持的语言 Go，Node.js，Ruby，Python，Java，PHP，Perl。 OpenShift功能 1）安全性：对于应用程序而言...
OpenShift 介绍
u010230019的博客
09-28 2201
(OpenShift)是一个容器应用程序平台，它为开发人员和IT组织提供了一个云应用程序平台（PaaS），用于在安全的、可伸缩的资源上部署新应用程序，而配置和管理开销最小。OpenShift构建于Red Hat Enterprise Linux、Docker和Kubernetes之上，为当今的企业级应用程序提供了一个安全且可伸缩的多租户操作系统，同时还提供了集成的应用程序运行时和库。OpenShift带来了健壮、灵活和可伸缩的特性。
OpenShift概念
Uwentaway的博客
04-17 508
Openshift是一个开源容器云平台，是一个基于主流的容器技术Docker和K8s构建的云平台。Openshift底层以Docker作为容器引擎驱动，以K8s作为容器编排引擎组件，并提供了开发语言，中间件，DevOps自动化流程工具和web console用户界面等元素，提供了一套完整的基于容器的应用云平台。 Red Hat是Openshift的最大贡献者。 Openshift包括社区版和企业版...
Openshift简介
火火的博客
03-26 8646
Openshift 是RedHat公司的一个基于 Kubernetes 和 Docker 的 PaaS 平台。 虽然 Kubernest 在容器调度方面表现出众，但他的功能还元不构成一个 PaaS 平台，于是很多厂商开始基于 Kubernetes 开发自己的 PaaS 平台。RedHat在其基础上添加了相关的工具与服务，如数据库服务、日志服务、监控服务。OpenShift在PaaS服务层默认提供了...
openshift简介
qq_34123420的博客
12-14 3471
openshift 简介 架构 简介 Openshift是一个开源容器云平台，是一个基于主流的容器技术Docker和K8s构建的云平台。Openshift底层以Docker作为容器引擎驱动，以K8s作为容器编排引擎组件，并提供了开发语言，中间件，DevOps自动化流程工具和web console用户界面等元素，提供了一套完整的基于容器的应用云平台 架构 自底而上包括几个层次：基础架构层，容器引擎层...
OpenShift简介
hongcloudtech的博客
12-06 6287
文章目录OpenShift简介1.OpenShift是什么？OpenShift与K8S的区别1. 应用部署2. 应用管理3. 节点配置4. 安全性2. 为什么要用OpenShift？3. OpenShift的版本4. OpenShift架构概览4.1基础架构层4.2 容器引擎层4.3 容器编排层4.4 PaaS服务层4.5 界面及工具层5. 核心组件详解5.1 MasterAPI Server数据源（Data Store）调度控制器（Scheduler）复制控制器（Replication Controll
OpenShift 简介
kaede_xiao的博客
02-24 1321
OpenShift 是红帽 Red Hat 公司基于开源的云平台，是平台即服务（PaaS），是一种容器应用平台。允许开发人员构建、测试和部署云应用。该系统是在 K8S 核心之上添加工具，从而实现更快的应用开发、部署及扩展。在 OpenShift 上可以进行开发、测试、部署、运维全流程，实现高度的自动化，满足企业中的应用持续集成和交付及部署的需求，同时也满足企业对于容器管理（Docker）、容器编排（K8S）的需求。
OpenShift 那些事
zhixingheyi_tian的博客
07-03 375
SCC Security context constraints allow administrators to control permissions for pods.
OpenShift-免费paas平台
lanwp5302的博客
02-19 1540
调戏OpenShift：一个免费能干的云平台https://www.cnblogs.com/ginponson/p/5592423.html
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值