OpenShift 4 - 可观测性之用 Network Observability Operator 对网络流量进行监控观测（视频）

dawnsky.liu

已于 2024-11-02 10:33:22 修改

阅读量697

点赞数

文章标签： openshift 运维可观测性 SRE DevOps

于 2023-06-26 16:54:01 首次发布

本文链接：https://blog.csdn.net/weixin_43902588/article/details/131138748

版权

《OpenShift / RHEL / DevSecOps 汇总目录》
说明：本文已经在支持 OpenShift 4.15 + Loki Operator 5.9.3 + Network observability 1.6.0 和 OpenShift 4.17 + Loki Operator 6.0.1 + Network observability 1.7.0 的环境中验证，但部分产品截图没有更新。

Network Observability 相关组件和架构

Network Observability 的核心功能是收集网络流，然后用可视化方式呈现出来。Network Observability 可以对 OpenShift 的 pod、Deployment、DeploymentConfig、StatefulSet、CronJobs、Jobs、DemonSet、ReplicaSet、Route、Service 资源的网络流量进行监控。

为了收集网络流，首先使用 eBPF 代理来钩住网络事件，它可以在内核层面捕获和输出进出接口的数据。eBPF 允以安全的方式扩展内核，并且性能更强。

在这个输出数据的接收端，名叫 Flowlogs Pipeline（FLP）的流量收集器来处理接收到的数据，并删除多余的和不相关的数据，使其可被 Kubernetes 使用。如果有突发的或大量的流量，可以要考虑使用 Apache Kafka 作为 eBPF 代理和 FLP 之间的中介，以提供缓冲之用。

FLP处理完的网络数据是通过 Loki 保存在对象存储中，最后在 OpenShift 的 Web Console 中展现出来。
在这里插入图片描述

安装 Network Observaility 功能

为了安装 Network Observability 需要先安装 Loki 环境，而 Loki 环境又需要对象存储。因此不但需要安装相关的 Operator，还需要配置 Loki 使用的对象存储。

安装 Operator

使用默认配置安装 Loki Operator，该 Operator 将会安装在 openshift-operators-redhat 命名空间中。
使用默认配置安装 Network Observability Operator，该 Operator 将会安装在 openshift-netobserv-operator 命名空间中。

配置对象存储

可以使用以下任一种 S3 对象存储作为 Loki 的存储。

使用 MinIO 对象存储

参考《OpenShift 4 - 基于 MinIO 安装 Red Hat Quay 镜像仓库》一文的 “安装 MinIO” 一节安装 MinIO 环境，然后创建名为 loki-network 的 bucket 和 user (用户名和密码为 loki/openshift4，权限为 readwrite)。
创建新项目。

$ oc new-project netobserv

创建访问 loki 存储桶的 Secret。

$ cat << EOF | kubectl apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: lokistack-dev-s3
  namespace:  netobserv
stringData:
  access_key_id: loki
  access_key_secret: openshift4
  bucketnames: loki-network
  endpoint: http://minio-svc.minio-dev.svc:9000
  insecure: "true"
EOF

使用 AWS 对象存储

执行命令创建访问 AWS 的凭证文件，其中我们会用到 us-east-1 区的 AWS S3 服务。

$ aws configure
AWS Access Key ID [None]: AKIAVROBYTZYQBBNWLF6
AWS Secret Access Key [None]: 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
Default region name [None]: us-east-1
Default output format [None]: json
 
$ cat .aws/credentials
[default]
aws_access_key_id = AKIAVROBYTZYQBBNWLF6
aws_secret_access_key = 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

使用主机名在 AWS 上创建 S3 存储的 bucket。

$ GUID=`hostname | cut -d. -f2`
$ aws --profile default s3api create-bucket --bucket $GUID --region us-east-1 --create-bucket-configuration LocationConstraint=us-east-1
{
    "Location": "http://kh7zm.s3.amazonaws.com/"
}

执行命令创建项目。

$ oc new-project netobserv

基于以下 YAML 创建访问 AWS bucket 的 Secret 对象。

apiVersion: v1
kind: Secret
metadata:
  name: lokistack-dev-s3
  namespace: netobserv
stringData:
  access_key_id: w3EDfSERUiLSAEXAMPLE (Replace with your aws creds)
  access_key_secret: mshdyShDTYKWEywajsqpshdNSUWJDA+1+REXAMPLE (Replace with your aws creds)
  bucketnames: j68pw (we called it j68pw in our example)
  endpoint: https://s3.us-east-1.amazonaws.com/
  region: us-east-1

配置 Loki 环境

在 netobserv 项目中使用 Loki Operator 根据以下 2 个截图创建一个 LokiStack 实例。

以下 Storage Class Name 为可提供 RWO 存储的存储类即可。
在这里插入图片描述
上述配置过程会生成以下 YAML，其中 gp2-csi 是 OpenShift 已有的 StorageClass。

apiVersion: loki.grafana.com/v1
kind: LokiStack
metadata:
  name: loki-network
  namespace: netobserv
spec:
  size: 1x.extra-small
  storage:
    schemas:
    - version: v13
      effectiveDate: "2023-10-15"
    secret:
      name: lokistack-dev-s3
      type: s3
  storageClassName: gp2-csi
  tenants:
    mode: openshift-network
  hashRing:
    type: memberlist

完成后在 OpenShift 控制台 “开发者”视图的 “拓扑” 中可以看到 netobserv 项目中如下部署的资源：
根据以下 YAML 创建 ClusterRole 和 ClusterRoleBinding 对象。

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: loki-netobserv-tenant
rules:
- apiGroups:
  - 'loki.grafana.com'
  resources:
  - network
  resourceNames:
  - logs
  verbs:
  - 'get'
  - 'create'
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: loki-netobserv-tenant
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: loki-netobserv-tenant
subjects:
- kind: ServiceAccount
  name: flowlogs-pipeline              
  namespace: netobserv

配置 Network Observability 的 FlowCollector

执行命令查看 loki-gateway-http 和 loki-query-frontend-http 服务的端口，以及访问 gateway。

$ oc get svc loki-network-gateway-http -n netobserv
NAME                TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                      AGE
loki-gateway-http   ClusterIP   172.30.85.73   <none>        8080/TCP,8081/TCP,8083/TCP   3m49s
 
$ oc get svc loki-network-query-frontend-http -n netobserv
NAME                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
loki-query-frontend-http   ClusterIP   172.30.156.155   <none>        3100/TCP   3m57s
 
$ oc get configmap loki-network-gateway-ca-bundle -n netobserv
NAME                     DATA   AGE
loki-gateway-ca-bundle   1      4m1s

根据下图在 netobserv 项目中使用 Network Observability Operator 创建一个 FlowCollector 对象（只需将 Loki client settings 的 Mode 设为 LokiStack，并将 Loki Stack 的 Name 设为 loki-network 即可）。
配置完后可在 netobserv 项目中看到以下部署的资源。

另外还会自从创建 netobserv-privileged 项目，并在其中以 DemonSet 的方式运行 ebpf 代理。

$ oc get daemonsets netobserv-ebpf-agent -n netobserv-privileged
NAME                   DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
netobserv-ebpf-agent   1         1         1       1            1           <none>          33m

刷新 OpenShift 控制台，在 “观察” 中会出现新的 “Network Traffic” 菜单，点击该菜单即可看到 Network Traffic 页面。

使用 Network Observability

部署测试应用

$ oc new-project mesh-arena
$ oc apply -f https://raw.githubusercontent.com/jotak/demo-mesh-arena/zizou/quickstart-naked.yml -n mesh-arena

用 Network Observability 跟踪网络流量

查看整体的网络流量

进入 “观察” 的 “Network Traffic” 菜单，在 Quick filters 选中 Pods network，在 Source Namespace·中输入 mesh-arena，然后选择合适的 Time range 和 Refresh interval。
进入 Traffic flows 可以看到收集到的流量数据。每个数据包括 Source 和 Destination，以及发送的数据字节量。
进入 Toplogy，可以在 Show advanced options 中设置 Display options（例如以下显示选项）。
选中一条线后可以在右侧看到 Source 和 Destination 对应的 pod。注意：连线代表在统计时间范围内在 Source 和 Destination 之间有网络流量，而箭头代表网络流向。从图上可以看到有些线是双向箭头，有些是单向箭头。

注意：如连线有双向箭头，则连线上显示的数字优先显示 B->A 的网络流量。

而单项箭头的联系会显示 A->B 的网络流量。

选中一个特定组件，会显示和该节点相关的流入和流出网络流量。

查看和特定资源相关的网络流量

选择测试应用的一个 Pod（例如 ui-base-xxx），然后查看 Network Traffic 的 Topology。可以在 advanced options 中的 Display options 中选择 Scope 为 Node，Groups 为 None，这样将显示该资源在节点之间的网络流量。
在 advanced options 中的 Display options 中选择 Scope 为 Namespace，Groups 为 None，这样将显示该资源在 Namespace 之间的网络流量。
点击上图有 Step into this namespace 的图标，将显示下图，以 Namespace 为分组的各 Deployment 之间的网络流量。
点击上图 ui-base 部署图标的右下方箭头，将进一步以 Deployment 为分组显示 Pod 之间的网络流量。
可在 advanced options 中设置 Display options 的 Scope 为 Resource，Groups 为 Namespace+Owner。然后在选中不同的 Namespace 或 Deployment，可以在右方看到该分组所有的网络流量。

视频

参考

https://cloud.redhat.com/blog/check-out-the-new-network-observability-support-in-openshift-4.12
https://cloud.redhat.com/blog/a-guide-to-providing-insight-with-network-observability
https://docs.openshift.com/container-platform/4.13/networking/network_observability/network-observability-overview.html
https://www.youtube.com/watch?v=4FC6j1NvlNE&t=443s
https://github.com/netobserv/documents
https://github.com/liuxiaoyu-git/ocp4-network-security/blob/netobserv/netobserv/netobserv.md
https://github.com/netobserv/network-observability-operator
https://myopenshiftblog.com/openshift-observability/
https://rhthsa.github.io/openshift-demo/netobserv.html