Flink on K8s 企业生产化实践

最新推荐文章于 2024-08-07 18:15:00 发布

house.zhang

最新推荐文章于 2024-08-07 18:15:00 发布

阅读量1.9k

点赞数

本文链接：https://blog.csdn.net/pop_xiaohao/article/details/123022622

版权

背景

为了解决公司模型&特征迭代的系统性问题，提升算法开发与迭代效率，部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题，在大数据与算法间架起科学桥梁，提供强有力的样本及特征数据支撑。平台从 Hive 、Hbase 、关系型数据库等大数据 ODS ( Operational Data store ) 层进行快速的数据 ETL ，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学家、数据工程师、机器学习工程师做算法模型的数据测试、训练、推理及其他数据应用。

本篇文章主要分享特征平台 flink on K8s 的部署实践，文章主要分以下几个方面进行介绍。首先本文对 K8s 基本概念及 Flink 任务执行图进行简要介绍，接着文章对比了现有的几种 Flink on K8s 部署方式，

为什么flink 要基于K8s做部署？

主要有以下几个优势：

容器环境容易部署、清理和重建：不像是虚拟环境以镜像进行分发部署起来对底层系统环境依赖小，所需要的包都可以集成到镜像中，重复使用。
更好的隔离性与安全性，应用部署以pod启动，pod之间相互独立，资源环境隔离后更安全。
k8s集群能够利用好资源，机器学习、在线服务等许多任务都可以混合部署。
云原生的趋势，丰富的k8s生态，以及大数据计算上云原生的趋势

介绍

2.1 K8s 简介

Kubernetes 为您提供了一个可弹性运行分布式系统的框架。Kubernetes 会满足您的扩展要求、故障转移、部署模式等，Kubernetes 项目的本质，是为用户提供一个具有普遍意义的容器编排工具。

K8S被称为云时代的操作系统（其中的镜像就类似软件安装包）
旨在提供“跨主机集群的自动部署、扩展以及运行应用程序容器的平台”
调度、资源管理、服务发现、健康检查、自动伸缩、滚动升级…

基本组件

Pod: K8s 的原子调度单位，是一个或多个 Container 的组合，Container 共享同一个网络、存储。

Deployment: 对一组相同 Pod 的高级抽象，可以自动重启恢复，保障高可用。

Service: 定义服务的访问入口，通过 Label Selector 绑定后端 Pod 副本集。如果 K8s 内部有一个服务，需要在外部进行访问，此时可以通过 Service 用 LoadBalancer 或者 NodePort 的方式将其暴露出去。如果不希望或不需要对外暴露服务，可以把 Service 设置为 Cluster IP 或者是 None 模式。

ConfigMap: K-V 结构数据，通常的用法是将 ConfigMap 挂载到 Pod ，作为配置文件提供 Pod 里新的进程使用。

Stateful - 有状态应用部署

Job与Cronjob-离线业务