Flink on Kubernetes Operator 使用教程
1. 项目的目录结构及介绍
Flink on Kubernetes Operator 项目的目录结构如下:
flink-on-k8s-operator/
├── api
│ └── v1beta1
├── bin
├── config
│ ├── crd
│ ├── default
│ ├── manager
│ ├── prometheus
│ └── rbac
├── controllers
├── docker
│ └── Dockerfile
├── hack
├── pkg
│ ├── flink
│ ├── k8s
│ └── util
├── test
│ ├── integration
│ └── unit
└── third_party
目录结构介绍
- api/v1beta1: 包含 Flink 应用的 API 定义。
- bin: 包含可执行文件。
- config: 包含 Operator 的配置文件,包括 CRD、默认配置、管理配置、Prometheus 配置和 RBAC 配置。
- controllers: 包含 Kubernetes 控制器的实现。
- docker: 包含 Dockerfile 用于构建 Operator 镜像。
- hack: 包含一些脚本和工具。
- pkg: 包含项目的核心包,如 Flink 相关、Kubernetes 相关和工具包。
- test: 包含单元测试和集成测试。
- third_party: 包含第三方依赖。
2. 项目的启动文件介绍
项目的启动文件位于 cmd/manager/main.go
。这个文件是 Operator 的入口点,负责启动控制器管理器。
启动文件介绍
- main.go: 主要包含以下内容:
- 初始化日志配置。
- 设置 Kubernetes 客户端。
- 配置控制器管理器。
- 启动控制器管理器。
3. 项目的配置文件介绍
项目的配置文件主要位于 config
目录下。
配置文件介绍
- crd/bases: 包含自定义资源定义(CRD)的 YAML 文件。
- default: 包含默认的 Operator 配置。
- manager: 包含 Operator 管理配置。
- prometheus: 包含 Prometheus 监控配置。
- rbac: 包含 RBAC(基于角色的访问控制)配置。
配置文件示例
CRD 配置
apiVersion: apiextensions.k8s.io/v1
kind: CustomResourceDefinition
metadata:
name: flinkclusters.flinkoperator.k8s.io
spec:
group: flinkoperator.k8s.io
versions:
- name: v1beta1
served: true
storage: true
scope: Namespaced
names:
plural: flinkclusters
singular: flinkcluster
kind: FlinkCluster
shortNames:
- flink
默认配置
apiVersion: v1
kind: ConfigMap
metadata:
name: flink-operator-config
data:
logLevel: "info"
metricsPort: "8080"
管理配置
apiVersion: apps/v1
kind: Deployment
metadata:
name: flink-operator
spec:
replicas: 1
selector:
matchLabels:
control-plane: flink-operator
template:
metadata:
labels:
control-plane: flink-operator
spec:
containers:
- name: manager
image: flink-operator:latest
command:
- "/manager"
args:
- "--metrics-addr=127.0.0.1:8080"
Prometheus 配置
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: flink-operator
spec:
selector:
matchLabels:
control-plane: flink-operator
endpoints:
- port: metrics
interval: 30s
RBAC 配置
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: flink-operator
rules:
- apiGroups:
- flinkoperator.k8s.