从名字就可以看出对它寄予厚望——“六合”,天地宇宙谓之六合;“上甲”代表科举殿试成绩一等。产品的定位是力争做业内最实用最开放的DataOps产品。六合上甲是一个一站式智能的大数据全生命周期开发治理平台,赋予用户通过一站式服务,就可以实现包括需求管理、数据采集、数据开发、建模、数据治理、数据服务安全等复杂场合在内的能力,持续不断地把数据变成资产,并最终反哺业务。
产品的受众首先是就是做相应数据开发的技术人员,我们科技部的同事是最先接触且使用最频繁的。但它的受众不仅仅是技术人员,也包括业务人员,从事业务运营、决策支持、数据分析等岗位的业务人员。我们经常讲数据民主——人人都是数据分析师,指的是大家都有使用数据的能力,希望技术操作不要成为壁垒。它的受众还有从事数据管理、安全合规工作的同事,很多企业也已经成立了相关的数据管理部门。随着数据要素,数据资产等概念的提出,企业越来越意识到数据的重要性,于是分别成立和信息科技部并列的数据管理部门。我们的产品受众主要就是以上这三类人员。
六合上甲的功能架构
我们的生态设计模式,第一是开发态,其次是测试态,最后是生产态。开发态从需求开始管理,在需求介入之后我们再做相应的数据开发。在数据建模的时候,我们就会考虑到数据标准的灵活使用,以及数据安全相关的要求。这部分更多是指开发过程中用到了哪些源头数据,和对源头表相关权限的把控。开发完毕后,一键发布到测试态,进行冒烟测试或是脱敏,根据实际需要选择测试方式。测试完毕后,同样通过一键发布进入生产态。配置好相应的调度,后续的运营工作就可以通过运营中心看到任务数量,每个任务运行、执行情况。
六合上甲数据采集概览
这部分可以看到整体的任务数运行情况,根据时间维度进行查看。这是数据开发的图形化开发,是非常容易上手的一款产品,不仅仅适合开发人员。举一个拉链算法的例子,做数仓开发人员非常了解,在通过增量获取类似客户表的情况下,只要说明需要内容,进行相应的配置就可以简单地实现一些基础功能。如果对SQL特别了解,还可以开发出更灵活、进行更复杂数据处理的程序。监控首页实际上是对查询,可以查看哪些数据查询得比较频繁,哪些部门正在使用哪些数据,利用这些结果可以指导我们进行数据开发和存储的相关优化。