《数据自助分析系统》
一、背景
之前章节主要阐述了大数据开发平台:数据仓库管理平台中的内容,大数据开发平台帮助研发提高开发效率,并规约数据的规范化。对开发后的数据结果落入mysql ,clickhouse等存储中供其他应用继续使用与分析,其中数据报表展示方面的应用居多,若对每一份数据均做定制化开发,则存在如下几个问题:
(1)报表开发成本高:数据报表展示需求多,对于一个简单的报表展示,需要编写前端页面,action,service,dao,entity,至少需要5 hour 进行支持;
(2)报表展示入口分散:各个报表集成在各自业务系统中,用户在使用时需要进行频繁切换,用户体验和效率差。
二、目标
设计并落地一套基于配置化的数据自助分析系统:
对业务人员:配置化进行数据分析,无需等待开发排期,提高数据分析效率;
对开发人员:无需进行每层代码编写,定义输入格式后,进行报表自动化渲染;
三、设计方案
从下往上看:大量数据经过ETL处理后,结果数据汇入mysql,clickhouse等存储层中,业务在数据自助分析系统中经过配置后,自动展示分析的数据,下面重点对配置服