随着数字经济的步步落地,我们将迎来“数据风暴”的冲击,传统的数据处理方式已经显得跟不上脚步,传统的开发方式已经不足矣应对“数据风暴”带来的需求革命,因此,需要考虑开放、多元、可变、集成、易用等数据处理的属性,低代码、零代码的思路显然非常切合当前“数据风暴”的现状,通过它们的集成化、多元化、开放化特点来实现“数据革命”。
这里就介绍一款零代码的应用工具---Sengee,它实现了数据全生命周期的处理支撑,并且集成先进的数据处理算法实现数据的价值挖掘。平台的整体能力如下:
![](https://i-blog.csdnimg.cn/blog_migrate/42c8474c1f8a0ac0408dfcecb9399626.png)
Sengee完成了从互联网/云到与私有网络/私有云之间进行数据存储/计算应用过程,提供了从数据收集、数据处理、数据治理、数据分析、数据建模、数据展示到数据生产化的全过程支撑。它提供了全结构(结构化、半结构化、非结构化)数据的处理能力,提供流批一体的计算方式及单机、Spark、Flink等多种不同的计算引擎的能力,通过数据科学的方式来激活数据的价值潜能,提供可视化操作及配置的零代码管理页面,提供近百种。
1、数据收集
具备全要素、全路径的文件接入能力,提供了文件系统的接入、浏览、操作等生命周期管理,涵盖主流的文件系统类型管理能力,可以进行无限制扩展。
数据收集实现了远程文件系统、分布式文件系统及云文件系统,包括通用的接口以及云平台的数据库接口能力。
![](https://i-blog.csdnimg.cn/blog_migrate/3c81b214dfcdc5b6a56824580b08a83e.png)
此外还包括非接口类数据的输入,如资源类、转换类、中间件类等。
2、数据加工处理
数据处理包括文件系统类、数据库类、对象类的读取,文件读取实现了快速的数据转化和数据移动。
![](https://i-blog.csdnimg.cn/blog_migrate/d789a2975e77e6ce82ee95d4f6c9efad.png)
![](https://i-blog.csdnimg.cn/blog_migrate/983c78d1555101a470c4b09dbd6cffbc.png)
此外对于数据的更深层处理,包括值处理、特征处理、结构化、过滤、采样、分组、连接、排序、脚本、隐私、抽取、识别、转换等数据处理要求,共计几十种数据处理逻辑,可应对全要素类的数据,不限制数据类型。
3、数据挖掘分析
数据挖掘分析是平台的核心技术能力,其涵盖了常用的数据控制,并且嵌入AI智能算法到分析。
![](https://i-blog.csdnimg.cn/blog_migrate/0dc1ebc2515a590fd1c7425d1002d8f0.png)
4、数据输出展示
数据输出展示接入相似,具备一般数据输出和特殊数据写出的能力,
![](https://i-blog.csdnimg.cn/blog_migrate/9cc42b6d4ddd789f7882f6f3b38f0bb3.png)
数据挖掘分析是平台的核心技术能力,其涵盖了常用的数据控制,并且嵌入AI智能算法到分析。
关于模型的构建,提供一个统一的操作界面,通过拖拽式完成数据处理过程的搭建,如下图:
![](https://i-blog.csdnimg.cn/blog_migrate/5fe0ed59ed367776a8417cef03e37e49.png)
左侧为已经内置的处理组件或者算子,中间为画布区域,从左侧拖拽操作构建业务处理流程,右侧区域为参数配置区域,通过选择所需的源目录、源文件完成数据之间的交换。每个组件或者算子的接口出都具有属性信息或者配置信息,可以修改相应的配置完成数据输入输出、转换分析等数据策略的需求。
![](https://i-blog.csdnimg.cn/blog_migrate/2b11910228ac373bf668402beca95fa6.png)
Sengee是一个面向数据科学技术目标的零代码应用工具,提供规则计算、复杂规则引擎、机器学习模型接入等数据科学开发方式;同时集成清洗、转换、关联、分级加工等常用处理方式,集成数据探索、数据地图、数据血缘等数据深度处理方式,全面覆盖数据开发场景。
提供了完善的协同化数据服务能力,变革单一主导机制为团队协同合作机制。通过把数据、过程、模型、字典、脚本的共享化,建立跨平台、跨业务、跨团队的协作能力。
Sengee的意义在于实现全民数据科学,降低门槛,具备可视化、拖拽式、低代码的管理和操作能力,通过便捷的操作方式快速完成数据开发,帮助政企客户实现内部各个业务系统间数据如何快速集成和大数据量计算的问题,实现了数据智能化的快速建设。