taskmanager-job-deployment.yaml
配置文件主要功能
这个配置文件是用于部署 Flink TaskManager 的 Kubernetes Deployment。
- 定义了一个名为
flink-taskmanager
的 Deployment。 - 设置副本数为 2,即启动两个 TaskManager 实例。
- 使用标签选择器
app: flink
和component: taskmanager
来匹配对应的 Pod。 - 在 Pod 模板中定义了一个名为
taskmanager
的容器,使用apache/flink:latest
镜像。 - 将容器的 RPC 端口映射到容器的 6122 端口。
- 配置了一个活跃探测(liveness probe),通过 TCP Socket 探测容器的 6122 端口,延迟 30 秒后开始探测,每 60 秒进行一次探测。
- 挂载名为
flink-config-volume
的卷到容器的/opt/flink/conf/
目录,该卷来自 ConfigMapflink-config
中的两个文件。 - 挂载名为
job-artifacts-volume
的卷到容器的/opt/flink/usrlib
目录,该卷是宿主机上作业所需的文件路径。
配置文件加上中文注释
apiVersion: apps/v1
kind: Deployment
metadata:
name: flink-taskmanager # Deployment 的名称
spec:
replicas: 2 # 设置副本数为 2,即启动两个 TaskManager 实例
selector:
matchLabels:
app: flink # 匹配标签为 app=flink 的 Pod
component: taskmanager # 匹配标签为 component=taskmanager 的 Pod
template:
metadata:
labels:
app: flink # 在 Pod 模板中设置标签 app=flink
component: taskmanager # 在 Pod 模板中设置标签 component=taskmanager
spec:
containers:
- name: taskmanager # 容器名称为 taskmanager
image: apache/flink:latest # 使用 apache/flink:latest 镜像
env:
args: ["taskmanager"] # 启动参数为 "taskmanager"
ports:
- containerPort: 6122 # 将容器的 6122 端口映射为 RPC 端口
name: rpc
livenessProbe: # 配置活跃探测
tcpSocket:
port: 6122 # 通过 TCP Socket 探测容器的 6122 端口
initialDelaySeconds: 30 # 延迟 30 秒后开始进行探测
periodSeconds: 60 # 每 60 秒进行一次探测
volumeMounts:
- name: flink-config-volume # 挂载名为 flink-config-volume 的卷到容器的 /opt/flink/conf/ 目录
mountPath: /opt/flink/conf/
- name: job-artifacts-volume # 挂载名为 job-artifacts-volume 的卷到容器的 /opt/flink/usrlib 目录
mountPath: /opt/flink/usrlib
securityContext:
runAsUser: 9999 # 将容器的用户 ID 设置为 9999(根据官方 flink 镜像的用户 _flink_),如有需要可进行更改
volumes:
- name: flink-config-volume # 定义名为 flink-config-volume 的卷
configMap:
name: flink-config # 从 ConfigMap flink-config 中获取卷的内容
items:
- key: flink-conf.yaml
path: flink-conf.yaml
- key: log4j-console.properties
path: log4j-console.properties
- name: job-artifacts-volume # 定义名为 job-artifacts-volume 的卷
hostPath:
path: /host/path/to/job/artifacts # 设置宿主机上作业所需的文件路径