一次在K8s上运行Flink的实录

最新推荐文章于 2024-11-19 23:34:46 发布

小凯Alex

最新推荐文章于 2024-11-19 23:34:46 发布

阅读量2k

点赞数

分类专栏： k8s

本文链接：https://blog.csdn.net/weixin_38499215/article/details/103929381

版权

本文介绍了如何在Kubernetes(K8s)上使用ConfigMap管理和注入配置，以及Ingress对外提供服务的原理。详细讲解了Flink的部署架构，包括Job Manager和Task Manager，以及它们的配置文件。此外，还探讨了Flink-k8s-operator简化Flink部署的可能性。

摘要由CSDN通过智能技术生成

本文先介绍一下K8s的ConfigMap资源和Ingress的基本概念,然后讲一下如何在K8s上部署Flink,最后看一下Flink的Operator又是怎么编写的

ConfigMap

问题背景:

生产环境可能需要多个Config文件,命令行参数和环境变量进行配置组合,因此容器部署的时候,应该把配置从应用程序的镜像中解耦出来,以保证镜像的可移植性.

ConfigMap是用来存储通用的配置变量的,类似于配置文件,使得用户可以将分布式系统中用于不同模块的环境变量统一到一个对象中进行管理.

他可以看做K8s的一个基本资源类型,是一个键值组类型,存储被Pod或者其他资源对象访问的信息.但与secret相比,主要区别在于其不存储敏感信息,只存储简单的文本信息

简而言之: 在创建pod的时候对configmap进行绑定,pod内的应用可以直接引用ConfigMap的配置,相当于configmap为应用/运行环境封装配置.

创建pod的时候要绑定ConfigMap,通常用于: 设置环境变量的值,设置命令行参数等

ConfigMap的核心是把配置数据注入容器的方式,同时保证这个机制对容器来说是透明的.

ConfigMap可以用来保存单个属性,也可以用来保存整个配置文件或者JSON二进制大对象

eg;

ConfigMap可以包含细粒度的配置项，如：example.property.1；也可以包含粗粒度的配置文件，如：example.property.file

kind: ConfigMap
apiVersion: v1
metadata:
  creationTimestamp: 2016-02-18T19:14:38Z
  name: example-config
  namespace: default
data:
  # example of a simple property defined using --from-literal
  example.property.1: hello
  example.property.2: world
  # example of a complex property defined using --from-file
  example.property.file: |-
    property.1=value-1
    property.2=value-2