weixin_39709847的博客

随着业务的发展和社区产品的更新迭代，我们发现Linkis1.X在资源管理，引擎管理方面有极大的性能提升，可以更好的满足数据中台的建设。相较于0.9.3版本和我们之前使用的平台， 在用户体验方面也得到很大的提升，任务失败页面无法方便查看详情等问题也都得到改善，因此决定升级Linkis以及WDS套件，那么如下是具体的实践操作，希望给大家带来参考。

作者：萧寒阿列夫科技原来的技术平台是基于 Hadoop，Spark 平台搭建的，为了充分的满足业务需求，做了大量接口封装。但是随着业务发展，现有技术平台日渐满足不了业务需求。Apache Linkis 提供了统一的对接方式，同时，在性能方面也有了极大提升，满足了我们在产品迭代更新的需求。如下是基于 Apache Linkis + DataSphere Studio 的单机安装部署实战内容，请君享用。阿列夫科技：https://www.alephf.com/一、环境以及版本CentOS 7。

在开发 linkis 基础数据管理时，有大量对数据表的增删改查功能，可以使用 MybatisPlus 快速生成数据库的操作代码，又提高了开发效率。使用 MybatisPlus 生成的代码可以保证数据库访问的规范性和避免场景的错误。在文章的最后记录了如何使用插件快速生成swagger接口注解，可以快速生成注解，避免重复的工作。故此记录一下使用过程，方便随时翻阅，也希望给社区的朋友带来借鉴。

物料服务是无状态的，可进行多实例部署，做到服务高可用，每个实例对外提供独立的服务，互不干扰，所有物料元数据及版本信息等在数据库中共享，底层物料数据可被存储到HDFS或本地（共享）文件系统之中，以及支持实现文件存储相关的接口，扩展其他文件存储系统等。本文从Linkis引擎物料管理功能作为切入点，概述了BML物料服务的架构，并结合底层源码，详细地剖析了在引擎物料管理功能中，引擎物料的概念，以及引擎物料的上传、更新、版本管理等操作流程。本小节主要从引擎物料管理功能为切入点，剖析引擎物料数据在BML中的流转细节。

1.1 环境是基于aws搭建，组件版本如下1.2版本适配的操作1.21 linkis需要按照hadoop,spark,flink,hive,scala等版本进行适配编译。适配编译已经有很多的介绍文章了，这里就不赘述了。1.22 DSS可以直接使用，也可以升级他的scala版本到2.12，和Linkis保持一致。1.23 hudi版本建议选择0.10.1或者0.11.1,因为0.10.0和0.11.0都有一些bug。

社区的发展离不开大家的积极参与和贡献，在今年以来社区涌现出18位优秀的贡献者，分别为孙顺、许灵、鲍洋、陶时、陶志强、林武康、李孟、杜函敏、pjfanning、周新明、高赛、李凡聪、杨云、汤佳斌、张燕妮、谢军、资飞、范俊甫。天翼云在政府和企事业单位领域有比较大的优势，我们刚好负责的是面向客户的，为了快速响应客户需求，我们需要有一套一站式的大数据平台，并且是完全可以自主可控的。因此经过选型后，发现WDS非常符合我们的需求，最终选择了WDS，并且参与了DSS和Linkis的开源项目，成为社区的贡献者。

大家在技术框架选用，场景适配方面，现在越来越多的在 GitHub 来查找相关的开源项目，从文档到项目的源码应有尽有。基于开源软件的商业模式也在席卷全球，国内外陆续涌现出不少成功的创业案例，很多头部的大厂近年来也在加大对开源领域的投入，比如微软入主 GitHub，IBM 斥巨资收购 Red Hat，国内的 BAT、华为先后成立开源管理办公室并提出开源战略等。诚然，开源已经成为了科技发展的趋势。但是，我们在做技术选型时，考虑的不仅是解决当下问题，产品/项目的可持续性也是同样重要。

IntsigDataStudio（IDS）是上海合合信息科技股份有限公司，大数据平台基于微众WDS社区开源的Linkis&DSS组件构建的一站式敏捷数据应用开发管理门户，面向的主要用户群体包括数据开发、数据分析、数据产品经理和数据质检人员等。对外提供的核心能力包括一站式数据开发交互平台，支持数据从进来（数据集成），到处理（数据探查、作业调度），到出去（数据服务，BI报表），到运维（任务运维、数据质量）等全链路的可视化操作。...

国家2035远景规划提出要加快全面数字化转型的步伐，而“大数据平台”是数字化转型的基础技术之一。对于任何企业来说，建立和维护一个大数据平台都不是一件容易的事情，而建设一个有特色的、完整易用的大数据平台，显然更是一件技术难度极高的事情。基础平台由数据交换、数据分发、计算、存储四大层次组成，关注底层数据传输计算存储能力；功能平台由平台工具、数据工具、应用工具三大层次组成，关注用户各类功能工具需求实现。形成了完整的大数据平台技术体系，提供一站式的丰富数据平台组件及功能支撑。GitHubhttps。...

DataSphere Studio 简介DataSphere Studio（简称 DSS）是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计，及计算中间件 Linkis ，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。在统一的 UI 下，DataSphere Studio 以工作流式的图形化拖拽开发体验，将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等，数据应用开发全流程场景需求。DSS 通过插拔式的集成框架设计，让用户可以根据需要，简单快速替

Linkis 1.1.2 版本简介GitHub：https://github.com/apache/incubator-linkis本次发布主要支持在无 HDFS 的环境下进行精简化部署（支持部分引擎），方便更轻量化的学习使用和调试；新增对数据迁移工具 Sqoop 引擎的支持；异常处理日志优化；部分安全漏洞组件升级等；修复社区反馈的已知 bug。主要功能如下：支持在无HDFS的环境下进行精简化部署（支持部分引擎），方便更轻量化的学习使用和调试新增对数据迁移工具 Sqoop 引擎的支持优化日志等，提高问题排查

Streamis 简介GitHub：https://github.com/WeBankFinTech/StreamisStreamis是一个基于开源社区联合共建的流式应用开发管理系统，初期版本由微众银行、天翼云、仙翁科技和萨摩耶云参与共建开发。Streamis在框架层面直接接壤DataSphere Studio，同时底层引擎层面又直接对接了Linkis的Flink引擎，可以让用户低成本完成流式应用的开发、调试、发布和生产管理。同时随着Linkis和DataSphereStudio开源版本的发布迭代，对Str

Prophecis 简介GitHub：https://github.com/WeBankFinTech/ProphecisProphecis 是微众银行自研的一站式机器学习平台，集成多种开源机器学习框架，具备机器学习计算集群的多租户管理能力，提供生产环境全栈化容器部署与管理服务。本次版本更新内容主要为Prophecis MLFlow模块对接DSS 1.1.0 版本，实验模块、MLFlow Appconn、MLSS Appconn均对DSS 1.1.0版本进行了适配。备注：prophecis 0.3.2版本镜

EventMesh 1.5.0 介绍昨天我们的 EventMesh 1.5.0 版本正式发布，本次版本是 EventMesh 进入Apache孵化以来一次较大规模的更新。1.5.0 实现了三大新特性：一是提供 Mesh Bridge 的特性能力，支持 Mesh 之间根据订阅信息自动发现与数据流转，可供探索更广泛的业务场景；二是提供了golang sdk，全面支持 Go语言；三是支持 Nacos registry，增强治理能力。除此之外，我们还完成了大量的代码优化和问题修复，进一步提高了应用的可用性、安全性和

1. 参数分类Linkis参数主要分为以下三个部分：Linkis 服务端参数，主要包含Linkis本身的参数和Spring的参数Linkis SDK、Restful等客户端端调用提交的参数Linkis 管理台参数2. Linkis 服务端参数（1）Linkis本身的参数linkis本身的参数支持在配置文件里面进行设置，也支持通过环境变量和系统属性进行设置，推荐使用配置文件进行设置。Linkis配置文件格式如下所示：每个服务会加载两个属性配置文件，一个为公用的主配置文件linkis.properties，以

DataSphere Studio 简介DataSphere Studio（简称 DSS）是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计，及计算中间件 Linkis ，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。在统一的 UI 下，DataSphere Studio 以工作流式的图形化拖拽开发体验，将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等，数据应用开发全流程场景需求。DSS 通过插拔式的集成框架设计，让用户可以根据需要，简单快速替

极速上手，零配置，可无痛迁移。提供更好的工程化、代码复用能力，提高开发效率并改善开发体验。微信发布小程序后，微众银行众多业务都出现了小程序开发的需求。当时，小程序官方无法提供有效的工程化能力支持， 由于小程序架构上与 Web 端开发割裂，无法直接享受 Web 端现有的技术，经常需要开发手工 Ctrl+C,V ,并且还要改动源码移植到小程序中，而且 2 年多前市面上的小程序框架，脏检查机制和组件方案深受诟病。如何提升小程序开发效率，又能保障高质量（银行体系的开发每一步都不能疏忽，大家都懂得）成为迫在眉睫不得