Flink on Kubernetes Operator 使用教程

Flink on Kubernetes Operator 使用教程

flink-on-k8s-operator[DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.项目地址:https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operator

1. 项目的目录结构及介绍

Flink on Kubernetes Operator 项目的目录结构如下：

flink-on-k8s-operator/
├── api
│   └── v1beta1
├── bin
├── config
│   ├── crd
│   ├── default
│   ├── manager
│   ├── prometheus
│   └── rbac
├── controllers
├── docker
│   └── Dockerfile
├── hack
├── pkg
│   ├── flink
│   ├── k8s
│   └── util
├── test
│   ├── integration
│   └── unit
└── third_party

目录结构介绍

• api/v1beta1: 包含 Flink 应用的 API 定义。
• bin: 包含可执行文件。
• config: 包含 Operator 的配置文件，包括 CRD、默认配置、管理配置、Prometheus 配置和 RBAC 配置。
• controllers: 包含 Kubernetes 控制器的实现。
• docker: 包含 Dockerfile 用于构建 Operator 镜像。
• hack: 包含一些脚本和工具。
• pkg: 包含项目的核心包，如 Flink 相关、Kubernetes 相关和工具包。
• test: 包含单元测试和集成测试。
• third_party: 包含第三方依赖。

2. 项目的启动文件介绍

项目的启动文件位于 cmd/manager/main.go。这个文件是 Operator 的入口点，负责启动控制器管理器。

启动文件介绍

• main.go: 主要包含以下内容：
  • 初始化日志配置。
  • 设置 Kubernetes 客户端。
  • 配置控制器管理器。
  • 启动控制器管理器。

3. 项目的配置文件介绍

项目的配置文件主要位于 config 目录下。

配置文件介绍

• crd/bases: 包含自定义资源定义（CRD）的 YAML 文件。
• default: 包含默认的 Operator 配置。
• manager: 包含 Operator 管理配置。
• prometheus: 包含 Prometheus 监控配置。
• rbac: 包含 RBAC（基于角色的访问控制）配置。

配置文件示例

CRD 配置

apiVersion: apiextensions.k8s.io/v1
kind: CustomResourceDefinition
metadata:
  name: flinkclusters.flinkoperator.k8s.io
spec:
  group: flinkoperator.k8s.io
  versions:
    - name: v1beta1
      served: true
      storage: true
  scope: Namespaced
  names:
    plural: flinkclusters
    singular: flinkcluster
    kind: FlinkCluster
    shortNames:
      - flink

默认配置

apiVersion: v1
kind: ConfigMap
metadata:
  name: flink-operator-config
data:
  logLevel: "info"
  metricsPort: "8080"

管理配置

apiVersion: apps/v1
kind: Deployment
metadata:
  name: flink-operator
spec:
  replicas: 1
  selector:
    matchLabels:
      control-plane: flink-operator
  template:
    metadata:
      labels:
        control-plane: flink-operator
    spec:
      containers:
        - name: manager
          image: flink-operator:latest
          command:
            - "/manager"
          args:
            - "--metrics-addr=127.0.0.1:8080"

Prometheus 配置

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: flink-operator
spec:
  selector:
    matchLabels:
      control-plane: flink-operator
  endpoints:
    - port: metrics
      interval: 30s

RBAC 配置

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: flink-operator
rules:
  - apiGroups:
      - flinkoperator.k8s.

flink-on-k8s-operator[DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.项目地址:https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operator