数据仓库建模自动化

前文中,我们提到了在确定DWD层的构建原则之后,可以通过开发数据建模工具来辅助实现。这样的工具应该设计成什么样子呢?

建模工具的基本方案

建模工具的特点

一个理想的建模工具应该具备良好的易用性和灵活性。

易用性可以体现在:

  • 支持数据建模人员方便的查看,快速的编辑;
  • 有错误提示;
  • 有版本控制。

灵活性是指:

  • 可以很容易的自定义数据转换逻辑而无需修改工具代码;
  • 支持灵活的任务参数定义,以便适应不同量级的数据;
  • 一旦建模人员希望引入新的建模规则,可以很容易的修改这个工具进行支持。
建模工具交互界面

常见的具备良好易用性的工具是一套完善的拥有良好交互体验的Web系统,用户打开浏览器即可使用。但是这样的系统构建成本通常较高,而且一旦有新的建模规则或特性想要支持,也要花费更多的时间去修改系统。
有没有更简单轻量的工具呢?

做数据分析最常用的工具当属Excel电子表格了。电子表格有着非常强的灵活性,可以支持大部分数据分析场景。同时,团队成员通常也都具备熟练的使用电子表格的能力。基于此,我们可以考虑使用Excel作为用户交互界面。

我们可以设计一套电子表格的模板,然后,建模人员通过填表的方式进行模型配置,接着,建模工具通过读取模型配置来运行数据建模任务。

使用电子表格作为交互界面可以大大降低建模工具开发成本,使得我们可以将主要精力放在建模本身这件更有业务价值的事情上。虽然舍弃了一定的易用性,但是考虑到开发成本的降低及灵活性的提升,这个选择应该是很十分合理的。

很多电子表格还支持协同编辑,此时可以让相关团队成员一起协作完成DWD模型的配置。

建模工具实现思路

有了电子表格中定义的模型配置,建模工具的核心功能就变成:1. 读取模型配置;2. 运行数据建模任务。分析一下如何实现这两个步骤。读取模型配置在实现上没什么问题,运行

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值