- 博客(17)
- 收藏
- 关注
原创 基于CDH6.3.2部署Linkis1.1.1和DSS1.1.0
随着业务的发展和社区产品的更新迭代,我们发现Linkis1.X在资源管理,引擎管理方面有极大的性能提升,可以更好的满足数据中台的建设。相较于0.9.3版本和我们之前使用的平台, 在用户体验方面也得到很大的提升,任务失败页面无法方便查看详情等问题也都得到改善,因此决定升级Linkis以及WDS套件,那么如下是具体的实践操作,希望给大家带来参考。
2022-10-26 14:22:13
479
1
原创 产品迭代更新 | 阿列夫科技基于Linkis+DataSphere Studio的单机安装部署实战
作者:萧寒阿列夫科技原来的技术平台是基于 Hadoop,Spark 平台搭建的,为了充分的满足业务需求,做了大量接口封装。但是随着业务发展,现有技术平台日渐满足不了业务需求。Apache Linkis 提供了统一的对接方式,同时,在性能方面也有了极大提升,满足了我们在产品迭代更新的需求。如下是基于 Apache Linkis + DataSphere Studio 的单机安装部署实战内容,请君享用。阿列夫科技:https://www.alephf.com/一、环境以及版本CentOS 7。
2022-10-10 10:16:17
3119
原创 高效解决大量数据表的增删改查| Linkis使用MyatisPlus插件的快速开发经验
在开发 linkis 基础数据管理时,有大量对数据表的增删改查功能,可以使用 MybatisPlus 快速生成数据库的操作代码,又提高了开发效率。使用 MybatisPlus 生成的代码可以保证数据库访问的规范性和避免场景的错误。在文章的最后记录了如何使用插件快速生成swagger接口注解,可以快速生成注解,避免重复的工作。故此记录一下使用过程,方便随时翻阅,也希望给社区的朋友带来借鉴。
2022-10-09 10:34:25
286
原创 征文投稿 | Linkis引擎物料管理功能剖析
物料服务是无状态的,可进行多实例部署,做到服务高可用,每个实例对外提供独立的服务,互不干扰,所有物料元数据及版本信息等在数据库中共享,底层物料数据可被存储到HDFS或本地(共享)文件系统之中,以及支持实现文件存储相关的接口,扩展其他文件存储系统等。本文从Linkis引擎物料管理功能作为切入点,概述了BML物料服务的架构,并结合底层源码,详细地剖析了在引擎物料管理功能中,引擎物料的概念,以及引擎物料的上传、更新、版本管理等操作流程。本小节主要从引擎物料管理功能为切入点,剖析引擎物料数据在BML中的流转细节。
2022-09-22 17:28:35
711
原创 巧妙实现四大事实时功能| Linkis与Hudi结合的数据湖构建实践
1.1 环境是基于aws搭建,组件版本如下1.2版本适配的操作1.21 linkis需要按照hadoop,spark,flink,hive,scala等版本进行适配编译。适配编译已经有很多的介绍文章了,这里就不赘述了。1.22 DSS可以直接使用,也可以升级他的scala版本到2.12,和Linkis保持一致。1.23 hudi版本建议选择0.10.1或者0.11.1,因为0.10.0和0.11.0都有一些bug。
2022-09-22 11:03:22
552
2
原创 【活动回顾】带你了解一站式开源大数据平台套件WeDataSphere
社区的发展离不开大家的积极参与和贡献,在今年以来社区涌现出18位优秀的贡献者,分别为孙顺、许灵、鲍洋、陶时、陶志强、林武康、李孟、杜函敏、pjfanning、周新明、高赛、李凡聪、杨云、汤佳斌、张燕妮、谢军、资飞、范俊甫。天翼云在政府和企事业单位领域有比较大的优势,我们刚好负责的是面向客户的,为了快速响应客户需求,我们需要有一套一站式的大数据平台,并且是完全可以自主可控的。因此经过选型后,发现WDS非常符合我们的需求,最终选择了WDS,并且参与了DSS和Linkis的开源项目,成为社区的贡献者。
2022-09-07 14:51:56
625
原创 从功能模块、组件到架构,大数据平台建设如何更好的适配业务?
大家在技术框架选用,场景适配方面,现在越来越多的在 GitHub 来查找相关的开源项目,从文档到项目的源码应有尽有。基于开源软件的商业模式也在席卷全球,国内外陆续涌现出不少成功的创业案例,很多头部的大厂近年来也在加大对开源领域的投入,比如微软入主 GitHub,IBM 斥巨资收购 Red Hat,国内的 BAT、华为先后成立开源管理办公室并提出开源战略等。诚然,开源已经成为了科技发展的趋势。但是,我们在做技术选型时,考虑的不仅是解决当下问题,产品/项目的可持续性也是同样重要。
2022-08-22 16:56:44
405
转载 案例分享 | 基于Linkis+DSS构建合合信息一站式数据开发平台
IntsigDataStudio(IDS)是上海合合信息科技股份有限公司,大数据平台基于微众WDS社区开源的Linkis&DSS组件构建的一站式敏捷数据应用开发管理门户,面向的主要用户群体包括数据开发、数据分析、数据产品经理和数据质检人员等。对外提供的核心能力包括一站式数据开发交互平台,支持数据从进来(数据集成),到处理(数据探查、作业调度),到出去(数据服务,BI报表),到运维(任务运维、数据质量)等全链路的可视化操作。...
2022-07-19 18:22:13
2101
原创 里程碑 | WeDataSphere 一站式开源大数据平台套件全面升级
国家2035远景规划提出要加快全面数字化转型的步伐,而“大数据平台”是数字化转型的基础技术之一。对于任何企业来说,建立和维护一个大数据平台都不是一件容易的事情,而建设一个有特色的、完整易用的大数据平台,显然更是一件技术难度极高的事情。基础平台由数据交换、数据分发、计算、存储四大层次组成,关注底层数据传输计算存储能力;功能平台由平台工具、数据工具、应用工具三大层次组成,关注用户各类功能工具需求实现。形成了完整的大数据平台技术体系,提供一站式的丰富数据平台组件及功能支撑。GitHubhttps。...
2022-07-19 18:17:41
2824
原创 【里程碑】| 数据应用开发管理框架DataSphere Studio 1.1.0 新版本发布
DataSphere Studio 简介DataSphere Studio(简称 DSS)是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。DSS 通过插拔式的集成框架设计,让用户可以根据需要,简单快速替
2022-07-12 17:14:29
1573
原创 版本动态 | Apache Linkis(Incubating) 计算中间件1.1.2 版本发布
Linkis 1.1.2 版本简介GitHub:https://github.com/apache/incubator-linkis本次发布主要支持在无 HDFS 的环境下进行精简化部署(支持部分引擎),方便更轻量化的学习使用和调试;新增对数据迁移工具 Sqoop 引擎的支持;异常处理日志优化;部分安全漏洞组件升级等;修复社区反馈的已知 bug。主要功能如下:支持在无HDFS的环境下进行精简化部署(支持部分引擎),方便更轻量化的学习使用和调试新增对数据迁移工具 Sqoop 引擎的支持优化日志等,提高问题排查
2022-07-12 17:01:11
972
原创 新版发布 | 流式应用开发管理系统 Streamis 0.2.0
Streamis 简介GitHub:https://github.com/WeBankFinTech/StreamisStreamis是一个基于开源社区联合共建的流式应用开发管理系统,初期版本由微众银行、天翼云、仙翁科技和萨摩耶云参与共建开发。Streamis在框架层面直接接壤DataSphere Studio,同时底层引擎层面又直接对接了Linkis的Flink引擎,可以让用户低成本完成流式应用的开发、调试、发布和生产管理。同时随着Linkis和DataSphereStudio开源版本的发布迭代,对Str
2022-07-12 16:53:50
346
原创 版本更新|开源一站式机器学习平台 Prophecis 0.3.2
Prophecis 简介GitHub:https://github.com/WeBankFinTech/ProphecisProphecis 是微众银行自研的一站式机器学习平台,集成多种开源机器学习框架,具备机器学习计算集群的多租户管理能力,提供生产环境全栈化容器部署与管理服务。本次版本更新内容主要为Prophecis MLFlow模块对接DSS 1.1.0 版本,实验模块、MLFlow Appconn、MLSS Appconn均对DSS 1.1.0版本进行了适配。备注:prophecis 0.3.2版本镜
2022-07-12 14:56:15
525
原创 EventMesh 1.5.0发布!支持联邦治理,探索Data Mesh!
EventMesh 1.5.0 介绍昨天我们的 EventMesh 1.5.0 版本正式发布,本次版本是 EventMesh 进入Apache孵化以来一次较大规模的更新。1.5.0 实现了三大新特性:一是提供 Mesh Bridge 的特性能力,支持 Mesh 之间根据订阅信息自动发现与数据流转,可供探索更广泛的业务场景;二是提供了golang sdk,全面支持 Go语言;三是支持 Nacos registry,增强治理能力。除此之外,我们还完成了大量的代码优化和问题修复,进一步提高了应用的可用性、安全性和
2022-07-07 16:52:41
679
原创 计算中间件 Apache Linkis参数解读
1. 参数分类Linkis参数主要分为以下三个部分:Linkis 服务端参数,主要包含Linkis本身的参数和Spring的参数Linkis SDK、Restful等客户端端调用提交的参数Linkis 管理台参数2. Linkis 服务端参数(1)Linkis本身的参数linkis本身的参数支持在配置文件里面进行设置,也支持通过环境变量和系统属性进行设置,推荐使用配置文件进行设置。Linkis配置文件格式如下所示:每个服务会加载两个属性配置文件,一个为公用的主配置文件linkis.properties,以
2022-07-05 11:45:34
226
1
原创 开源里程碑 | 数据应用开发管理集成框架 DataSphere Studio 1.1.0 新版本发布
DataSphere Studio 简介DataSphere Studio(简称 DSS)是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。DSS 通过插拔式的集成框架设计,让用户可以根据需要,简单快速替
2022-07-05 11:30:19
827
原创 渐进式开源小程序框架,零改造功能增强!
极速上手,零配置,可无痛迁移。提供更好的工程化、代码复用能力,提高开发效率并改善开发体验。微信发布小程序后,微众银行众多业务都出现了小程序开发的需求。当时,小程序官方无法提供有效的工程化能力支持, 由于小程序架构上与 Web 端开发割裂,无法直接享受 Web 端现有的技术,经常需要开发手工 Ctrl+C,V ,并且还要改动源码移植到小程序中,而且 2 年多前市面上的小程序框架,脏检查机制和组件方案深受诟病。如何提升小程序开发效率,又能保障高质量(银行体系的开发每一步都不能疏忽,大家都懂得)成为迫在眉睫不得
2020-12-04 11:27:57
182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人