文章目录
1. 实验环境
Kubernetes集群:
3台4G的虚拟机,CentOS 7.7版本
kubernetes集群的版本:
Kubernetes v1.16.0
k8s 1.16 和 k8s 1.15 的区别:
k8s 1.16 版本以后 Deployment 的 api 改变了,所以再来一遍
2. 集群搭建
2.1 k8s1.16 版本的 Yaml 配置
k8s 1.16 版本以后,Deployment 的 apiVersion 变为了 apps/v1 , 并且需要在spec 中加入 selector.matchLabels.app
2.1.1 JobManager Yaml 配置
主要提供运行JobManager组件镜像的参数配置,包括JobManager自身的参数,例如RPC端口等配置信息:
apiVersion: apps/v1
kind: Deployment
metadata:
name: flink-jobmanager
spec:
selector:
matchLabels:
app: flink
replicas: 1
template:
metadata:
labels:
app: flink
component: jobmanager
spec:
containers:
- name: jobmanager
image: flink:1.9
args:
- jobmanager
ports:
- containerPort: 6123
name: rpc
- containerPort: 6124
name: blob
- containerPort: 6125
name: query
- containerPort: 8081
name: ui
env:
- name: JOB_MANAGER_RPC_ADDRESS
value: flink-jobmanager
2.1.2 TaskManager Yaml 配置
主要提供运行TaskManager组件的参数配置,以及TaskManager自身的参数,例如RPC端口等配置信息:
apiVersion: apps/v1
kind: Deployment
metadata:
name: flink-taskmanager
spec:
selector:
matchLabels:
app: flink
replicas: 3
template:
metadata:
labels:
app: flink
component: taskmanager
spec:
containers:
- name: taskmanager
image: flink:1.9
args:
- taskmanager
ports:
- containerPort: 6121
name: data
- containerPort: 6122
name: rpc
- containerPort: 6125
name: query
env:
- name: JOB_MANAGER_RPC_ADDRESS
value: flink-jobmanager
2.1.3 JobManagerServices 配置
主要为Flink Session 集群提供对外的RestApi和UI地址,使得用户可以通过Flink UI 的方式访问集群并获取任务和监控信息,配置文件如下:
apiVersion: v1
kind: Service
metadata:
name: flink-jobmanager
spec:
type: NodePort
ports:
- name: rpc
port: 6123
- name: blob
port: 6124
- name: query
port: 6125
- name: ui
port: 8081
nodePort: 30001
selector:
app: flink
component: jobmanager
2.2 启动Flink Session Cluster
当各个组件服务配置文件定义完毕后,就可以通过使用以下Kubectl命令,创建Flink Session Cluster,集群启动完成后就可以通过JobManagerServices中配置的WebUI端口访问 Flink Web 页面。
kubectl create -f jobmanager-service.yaml
kubectl create -f jobmanager-deployment.yaml
kubectl create -f taskmanager-deployment.yaml
使用如下命令,查看pod:
kubectl get pods -o wide
然后访问Flink 的 Web UI 界面:
2.3 停止Flink Session Cluster
kubectl delete-f jobmanager-service.yaml
kubectl delete -f jobmanager-deployment.yaml
kubectl delete -f taskmanager-deployment.yaml