Apache Linkis 介绍

最新推荐文章于 2024-08-19 05:30:00 发布

拾数崽

最新推荐文章于 2024-08-19 05:30:00 发布

阅读量2.8k

点赞数

分类专栏：数据平台文章标签： apache 大数据

本文链接：https://blog.csdn.net/qq_24930843/article/details/127613662

版权

Apache Linkis是一个计算中间件，提供REST/WebSocket/JDBC接口连接MySQL/Spark等底层引擎，解决紧耦合、重复开发问题。其核心特点是支持丰富计算存储引擎、强大的计算治理能力和全栈架构。Linkis服务架构包括CGS、PES和MGS三组服务，引擎连接器分为OLAP、OLTP和Stream EngineConn。Linkis的优势在于环境准备的解耦、计算任务提交的灵活性、执行效率及系统的高可用和资源控制。

摘要由CSDN通过智能技术生成

关键名词

LinkisMaster：Linkis的计算治理服务层架中的管理服务，主要包含了AppManager、ResourceManager、LabelManager等几个管控服务。原名LinkisManager服务。
Entrance：计算治理服务层架中的入口服务，完成任务的调度、状态管控、任务信息推送等功能。
Orchestrator：Linkis的编排服务，提供强大的编排和计算策略能力，满足多活、主备、事务、重放、限流、异构和混算等多种应用场景的需求。现阶段Orchestrator被Entrance服务所依赖。
EngineConn（EC）：引擎连接器，负责接受任务并提交给底层引擎如Spark、hive、Flink、Presto、trino等进行执行。
EngineConnManager（ECM）：Linkis 的EC进程管理服务，负责管控EngineConn的生命周期（启动、停止）。
LinkisEnginePluginServer：该服务负责管理各个引擎的启动物料和配置，另外提供每个EngineConn的启动命令获取，以及每个EngineConn所需要的资源。
PublicEnhencementService（PES）：公共增强服务，为其他微服务模块提供统一配置管理、上下文服务、物料库、数据源管理、微服务管理和历史任务查询等功能的模块。

Linkis 的作用

Linkis是在底层引擎和上层应用工具之间的一个通用的“计算中间件”的中间层，统一了上层应用工具到底层计算存储引擎的入口（作为大数据平台的统一入口），以标准化可重用的方式处理紧耦合、重复造轮子、扩展难、应用孤岛等计算治理问题。
通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可连接访问MySQL/Spark/Hive/Presto/Flink /Trino等底层引擎，同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通，以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。
作为计算中间件，Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦，简化了复杂的网络调用关系，降低了整体复杂度，同时节约了整体开发和维护成本。
![image.png](https://img-blog.csdnimg.cn/img_convert/695795cf43b4259c5bcf53fbcb9a3a80.png#clientId=ubb441301-5e1f-4&crop=0&crop=0&crop=1&crop=1&errorMessage=unknown error&from=paste&height=251&id=ubff80e03&margin=[object Object]&name=image.png&originHeight=402&originWidth=1010&originalType=