数据中台这个词出现的概率非常高,对于一个企业来讲,那么数据中台是什么呢?数据中台就是把数据从各个系统 用数据库对接、API对接、或者文件上传的形式把数据收集起来,整合加工,最后生成分析的结果,这个结果可能是数据本身、也可能是API,也可能是分析的图表、报表,甚至是展示的大屏等。

那么如何利用现有的开源组件攒一个比较经济实惠的 数据中台呢? 那么接下来可以看看下面这个方案。

1、首先利用标准的对数据操作接入的ORM框架来做链接,我们称为多数据源,我们选择的就是JDBC,当然如果要接入excel等数据来源还需要有些小小的开发工作量

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据

当然数据源一个基础的特点就是要能逐步支持多数据源:

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据可视化_02

2、要构建从多个不同的数据源抽取数据到中央数仓,我们采用百度的doris+阿里的dataX的方案来构建这个数仓,这里有很多方案有些不同, 有些方案是把抽取独立做的,我们是把 抽取+加工合并构建的,在数据加工的第一个步骤去实现的抽取的过程

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据分析_03

可以设置抽取加工执行的周期:

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据加工_04

在设计数据加工的过程中,通过算子的拼接实现业务加工过程的构建:

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据可视化_05

最后加工整理后,输出的结果是支持手动执行和自动执行的

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据_06

输出的结果可以用于多个场景,从具体的数据血缘视图中可以看出

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据源_07

3、用echarts 构建配置化的图表,图表就要做成配置化的,让用户更简单使用,简单拖拽,关联数据加工后的中间结果

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据_08

从配置数据,然后拖拽维度、指标、设置排序等操作,然后做了各种样式的配置功能。

用lucksheet 做了一个可视化的统计报表的功能,如下图所示:

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据_09

配置的方式和图表方式一样,只是渲染数据通过lucksheet实现的:

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据_10

当然我们还做了一个可视化的大屏配置器,和图表不一样,大屏支持多画布,多页面,可以配置更加复杂,更加精细化

全面解析ECharts、Luckysheet、DataX、Doris如何构建高效能数仓式中台_数据分析_11