五大亮点升级,偶数科技数据中台Lava 3.2新版本发布

​随着疫情的离去,近期偶数科技也更新了数据中台产品Lava 的3.2版本。本次发布主要在如下五个方面做了优化:

更强大的数据同步工具WASP

数据同步工具是数据中台必备的工具之一,WASP负责同步异构的业务数据到数据中台,以构建数据仓库,该功能可以灵活的应用于多种业务场景。

根据数据同步的方式分为两种:全量、增量。本次更新,在原本支持Oracle、DB2、MySQL、Postgres等数据源的基础上,增加了对HDFS、本地文件、SQLServer、DB2/AS400的支持。增加了新的并发数据同步的任务切分策略,再一次提高了数据同步的效率。

作业调度工具LavaFlow

LavaFlow做了大量的优化的工作,比如:跨作业的任务依赖、超时报警机制、任务支持日期运行条件(如,只在周一执行,否则跳过);可以横置、纵置,可以折叠、展开流程图的分支等等。

其中最大的亮点是沉浸式的在线脚本与作业流程的开发。如下图所示,该在线开发工具不但可以在线开发SQL、Shell脚本,还可以支持脚本的版本管理,查看历史版本,比较历史版本的改动历史,回退到某一历史版本等等。

 

第二大亮点是支持高可用,包括在线开发脚本的高可用。某个作业调度的节点宕机,作业调度可以继续工作并且不会丢失脚本。

数据服务

数据中台不可或缺的功能模块,可以把数据的查询、数据的计算与AI模型封装成服务,使得第三方应用更方便的使用数据中台的数据资产、AI模型等。同时可以监控这些服务的调用情况。

 

IDE集成开发环境

数据中台需要解决的大数据应用相关的问题之一是敏捷开发,数据的快速交付,IDE就是为此而生。

 

 

众所周知,Lava大数据平台包含或者开箱即用的集成了LittleBoy AI建模工具、WASP数据同步工具、LavaFlow作业调度工具、数据服务、AI服务等等。IDE的作用是以项目的方式组织这些大数据开发的任务:数据同步任务、AI训练任务、AI模型、作业调度作业与任务等等。

 

 

运维模块

根据大数据各产品与服务的特点,重构了自动部署的框架,使得所有的服务的部署共用一套通用的框架,降低了支持新的服务的自动部署所需开发工作量,提高了自动部署的稳定性与容错性。

提供了Lava方便易用的系统命令,比如启动、停止lava集群的命令:lava start/stop cluster。

统一了日志目录,把所有组建日志目录统一到/var/log/目录下。包括数据同步工具WASP、AI与作业调度工具LavaFlow。

 

关于偶数科技

⌈偶数科技⌋是一家领先的AI和大数据产品和解决方案提供商,致力于AI赋能全球各行业客户。公司的愿景和使命是 “让人类只为兴趣而工作”。偶数科技的产品已在金融、电信、制造、公安、能源和互联网等行业得到广泛的部署和应用。目前⌈偶数科技⌋已经获得⌈红杉中国⌋与⌈红点中国⌋的两轮投资。⌈偶数科技⌋是微软加速器成员企业,并入选美国著名商业杂志《快公司》“中国最佳创新公司50”榜单。

如果您喜欢本文请点右下角在看或转发到朋友圈。

 

更多新闻请点击:

央行主管《金融电子化》杂志授予偶数“金融科技产品创新突出贡献奖”

ITPUB专访偶数科技:从传统MPP数据库到新一代云原生数据库

一个成熟数据中台该有的样子 | 偶数Lava全面解析

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值