微众开源
文章平均质量分 93
微众开源
有空写一写
展开
-
产品迭代更新 | 阿列夫科技基于Linkis+DataSphere Studio的单机安装部署实战
作者:萧寒阿列夫科技原来的技术平台是基于 Hadoop,Spark 平台搭建的,为了充分的满足业务需求,做了大量接口封装。但是随着业务发展,现有技术平台日渐满足不了业务需求。Apache Linkis 提供了统一的对接方式,同时,在性能方面也有了极大提升,满足了我们在产品迭代更新的需求。如下是基于 Apache Linkis + DataSphere Studio 的单机安装部署实战内容,请君享用。阿列夫科技:https://www.alephf.com/一、环境以及版本CentOS 7。原创 2022-10-10 10:16:17 · 2938 阅读 · 0 评论 -
高效解决大量数据表的增删改查| Linkis使用MyatisPlus插件的快速开发经验
在开发 linkis 基础数据管理时,有大量对数据表的增删改查功能,可以使用 MybatisPlus 快速生成数据库的操作代码,又提高了开发效率。使用 MybatisPlus 生成的代码可以保证数据库访问的规范性和避免场景的错误。在文章的最后记录了如何使用插件快速生成swagger接口注解,可以快速生成注解,避免重复的工作。故此记录一下使用过程,方便随时翻阅,也希望给社区的朋友带来借鉴。原创 2022-10-09 10:34:25 · 263 阅读 · 0 评论 -
征文投稿 | Linkis引擎物料管理功能剖析
物料服务是无状态的,可进行多实例部署,做到服务高可用,每个实例对外提供独立的服务,互不干扰,所有物料元数据及版本信息等在数据库中共享,底层物料数据可被存储到HDFS或本地(共享)文件系统之中,以及支持实现文件存储相关的接口,扩展其他文件存储系统等。本文从Linkis引擎物料管理功能作为切入点,概述了BML物料服务的架构,并结合底层源码,详细地剖析了在引擎物料管理功能中,引擎物料的概念,以及引擎物料的上传、更新、版本管理等操作流程。本小节主要从引擎物料管理功能为切入点,剖析引擎物料数据在BML中的流转细节。原创 2022-09-22 17:28:35 · 695 阅读 · 0 评论 -
巧妙实现四大事实时功能| Linkis与Hudi结合的数据湖构建实践
1.1 环境是基于aws搭建,组件版本如下1.2版本适配的操作1.21 linkis需要按照hadoop,spark,flink,hive,scala等版本进行适配编译。适配编译已经有很多的介绍文章了,这里就不赘述了。1.22 DSS可以直接使用,也可以升级他的scala版本到2.12,和Linkis保持一致。1.23 hudi版本建议选择0.10.1或者0.11.1,因为0.10.0和0.11.0都有一些bug。原创 2022-09-22 11:03:22 · 530 阅读 · 2 评论