前文中,我们提到了在确定DWD层的构建原则之后,可以通过开发数据建模工具来辅助实现。这样的工具应该设计成什么样子呢?
建模工具的基本方案
建模工具的特点
一个理想的建模工具应该具备良好的易用性和灵活性。
易用性可以体现在:
- 支持数据建模人员方便的查看,快速的编辑;
- 有错误提示;
- 有版本控制。
灵活性是指:
- 可以很容易的自定义数据转换逻辑而无需修改工具代码;
- 支持灵活的任务参数定义,以便适应不同量级的数据;
- 一旦建模人员希望引入新的建模规则,可以很容易的修改这个工具进行支持。
建模工具交互界面
常见的具备良好易用性的工具是一套完善的拥有良好交互体验的Web系统,用户打开浏览器即可使用。但是这样的系统构建成本通常较高,而且一旦有新的建模规则或特性想要支持,也要花费更多的时间去修改系统。
有没有更简单轻量的工具呢?
做数据分析最常用的工具当属Excel电子表格了。电子表格有着非常强的灵活性,可以支持大部分数据分析场景。同时,团队成员通常也都具备熟练的使用电子表格的能力。基于此,我们可以考虑使用Excel作为用户交互界面。
我们可以设计一套电子表格的模板,然后,建模人员通过填表的方式进行模型配置,接着,建模工具通过读取模型配置来运行数据建模任务。
使用电子表格作为交互界面可以大大降低建模工具开发成本,使得我们可以将主要精力放在建模本身这件更有业务价值的事情上。虽然舍弃了一定的易用性,但是考虑到开发成本的降低及灵活性的提升,这个选择应该是很十分合理的。
很多电子表格还支持协同编辑,此时可以让相关团队成员一起协作完成DWD模型的配置。
建模工具实现思路
有了电子表格中定义的模型配置,建模工具的核心功能就变成:1. 读取模型配置;2. 运行数据建模任务。分析一下如何实现这两个步骤。读取模型配置在实现上没什么问题,运行