我以前做过门户网站,现在做的电子商务的决策系统,感觉有很多相同工作。刚好在网上看到一篇wiki,原来这种相同的模块或者功能已经被抽象为名为E-T-L的软件(系统)设计模式。
E, Extract, 就是从多种数据源获取异构数据。
T,Transform,对数据计算,分析,转型为本系统需要的数据。
L,Load,载入数据库,或发布。
关于这个模式更详细的内容可参见这个wiki, http://en.wikipedia.org/wiki/Extract,_transform,_load
我们的系统组成也差不多是这样几部分。
1 数据采集模块
2 数据计算模块
3 数据发布模块(To Data WareHouse, To Report, Open Service)
4 基于工作流的用户交互系统。