版本动态 | Apache Linkis(Incubating) 计算中间件1.1.2 版本发布

Linkis 1.1.2 版本简介

GitHub：https://github.com/apache/incubator-linkis

本次发布主要支持在无 HDFS 的环境下进行精简化部署（支持部分引擎），方便更轻量化的学习使用和调试；新增对数据迁移工具 Sqoop 引擎的支持；异常处理日志优化；部分安全漏洞组件升级等；修复社区反馈的已知 bug。

主要功能如下：

• 支持在无HDFS的环境下进行精简化部署（支持部分引擎），方便更轻量化的学习使用和调试

• 新增对数据迁移工具 Sqoop 引擎的支持

• 优化日志等，提高问题排查效率

• 修复用户越权等接口的安全问题

• 部分依赖包的升级和社区已知问题修复

缩写：

• COMMON: Linkis Common

• EC: Engineconn

• ECM: EngineConnManager

• ECP: EngineConnPlugin

• DMS: Data Source Manager Service

• MDS: MetaData Manager Service

• LM: Linkis Manager

• PS: Linkis Public Service

• PE: Linkis Public Enhancement

• RPC: Linkis Common RPC

• CG: Linkis Computation Governance

版本新特性

• [Deployment]Linkis-1804,1811,1841,1843,1846,1933 支持在无HDFS的环境下进行精简化部署（支持部分引擎），方便更轻量化的学习使用和调试

• [PS]Linkis-1949 增加未完成作业的列表接口 (/listundone)，并利用定时调度优化查询性能

• [BML]Linkis-1811,1843 BML物料服务新增对本地文件系统存储模式部署的支持

• [Common]Linkis-1887 RPC模块Sender支持修改负载均衡 Ribbon 等参数

• [Common]Linkis-2059 使用任务task id 作为日志中的 trace id

• [EC]Linkis-1971 EC AsyncExecutor 支持设置并行 Job Group 的个数

• [Engine]Linkis-2109 新增对数据迁移工具 Sqoop 引擎的支持

功能增强

• [ECP]Linkis-2074 Flink 引擎支持自定义配置

• [Deployment]Linkis-1841 支持用户部署时关闭对 Spark/Hive/HDFS 环境检测

• [Deployment]Linkis-1971 修复在多块网卡机器部署时，自动获取ip错误的问题

• [Entrance]Linkis-1941 Entrance 支持将原始的 jobId 传递给 EngineConn 和 LinkisManager

• [Entrance]Linkis-2045 重构EntranceInterceptor实现类中脚本类型和运行类型匹配关系

• [RPC]Linkis-1903 修改 RPC 模块异常处理逻辑，透传 EngineConnPlugin 异常的原始错误信息

• [RPC]Linkis-1905 增加参数支持传递 LoadBalancer 的参数，比如 Ribbon

• [Orchestrator]Linkis-1937 编排器任务调度器creator配置参数支持配置多个Creator值

• [PE][Linkis-1959 ContextService 增加必要的日志打印，方便错误排查

• [EC]Linkis-1942 EC支持将taskID塞入到底层引擎的conf中，方便做任务的血缘分析关联到具体的linkis任务

• [EC]Linkis-1973 Task 的执行错误日志获取方式由 cat 改为 tail -1000 控制日志数量，避免全量加载大文件

• [CG,PE]Linkis-2014 增加配置 add/get/delete，优化同步锁

• [Common]Linkis-2016 调整cglib依赖的使用，将 cglib 依赖替换为 spring 内置的cglib

• [Gateway]Linkis-2071 HTTP请求Header中增加 GatewayURL属性值

修复功能

• [Engine]Linkis-1931 修复 Python 错误加载的是Pyspark的函数，非单机Python本身的函数问题

• [Deployment]Linkis-1853 修复安装初始化 DDL 报错的问题

• [UDF]Linkis-1893 为 udf 相关接口增加用户权限校验

• [EC]Linkis-1933 给非 deploy 用户组的用户执行作业增加 resultSet 的写权限

• [EC]Linkis-1846 修复 ResultSet 配置本地路径无效的问题

• [EC]Linkis-1966 使用 System.properties 替换 System.ev

• [EC-Python]Linkis-2131 修复 Python 引擎由于 pandas 引入导致异常的问题

• [PS]Linkis-1840 下载 csv 格式数据时，增加灵活选择，防止数据格式错乱

• [Orchestrator]Linkis-1992 修复 Orchestrator Reheater 模块的并发问题

• [PE]Linkis-2032 配置接口的优化，获取Label的配置参数时，修改为直接获取Key-value对

• [Web]Linkis-2036 管理台ECM 页面实例显示问题修复

• [Web]Linkis-1895 资源页面显示问题修复

• [ECP]Linkis-2027 修复 ECP 物料下载字节截取导致的异常错误

• [ECP]Linkis-2088 修复 hive task 运行过程中存在进度回退的问题

• [ECP]Linkis-2090 修复 Python3 找不到的问题

• [CG]Linkis-1751 脚本自定义变量运行类型和后缀约束配置化

• [CG]Linkis-2034 对超时任务的描述信息不匹配的修复

• [CG]Linkis-2100 优化高并发下的 db 死锁问题

安全相关

• [UDF]Linkis-1893 修复 udf 部分接口（/udf/list，/udf/tree/add，/udf/tree/update）的用户越权问题

• [PS]Linkis-1869 修复 Linkis PlublicService 相关接口越权问题

• [PS]Linkis-2086 方法 /updateCategoryInfo 增加权限校验

依赖变更

• [MDS]Linkis-1947 mys2168ql-connector-java 从 5.1.34 升级到 8.0.16

• [ECP]Linkis-1951 hive-jdbc 从 1.2.1 升级至 2.3.3

• [ECP]Linkis-1968 protobuf-java 版本升级至 3.15.8

• [ECP]Linkis-2021 移除 Flink 模块的一些冗余依赖包

• [RPC]Linkis-2018 统一 json4s 的版本

• [Web]Linkis-2336 引入web组件jsencrypt-3.2.1的依赖，作为登陆密码加解密工具

详细指引

• 本版本总览: https://linkis.apache.org/zh-CN/docs/latest/release

• 详细安装部署见指引：https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy

• 官方下载链接：https://linkis.apache.org/zh-CN/download/main

贡献者寄语

Apache Linkis(incubating) 1.1.2的发布离不开Linkis社区的贡献者,感谢所有的社区贡献者，包括但不仅限于以下Contributors（排名不分先后）:

Alexyang, David hua, GodfreyGuo, Jack Xu, Zosimer, allenlliu, ericlu, huapan123456, husofskyzy, iture123, legendtkl, luxl@chinatelecom.cn, maidangdang44, peacewong, pengfeiwei, seedscoder, weixiao, xiaojie19852006, めぐみん, 李为

— END —

如何成为社区贡献者

1 ► 官方文档贡献。发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略：保姆级教程：如何成为Apache Linkis文档贡献者

2 ► 代码贡献。我们梳理了社区中简单并且容易入门的的任务，非常适合新人做代码贡献。请查阅新手任务列表：https://github.com/apache/incubator-linkis/issues/1161

3 ► 内容贡献：发布WeDataSphere开源组件相关的内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。例如：

• 技术干货 | Linkis实践：新引擎实现流程解析

• 技术干货 | Prophecis保姆级部署教程

• 社区开发者专栏 | MariaCarrie：Linkis1.0.2安装及使用指南

4 ► 社区答疑：积极在社区中进行答疑、分享技术、帮助开发者解决问题等；

5 ► 其他：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等；