pentaho & SPARK

一个人难以开发出一个强大且完整的系统，pentaho集成了BI和DI等功能，应用于报表制作和商业智能相对比较全面，最近看了国外文章，这里做一些介绍。

pentaho 使用Adaptive Execution Layer (AEL)在不用系统引擎中执行数据转换，而在大数据环境下，基于hadoop集群 下的spark能够进行高效的数据处理。AEL为spark定义数据的转换，直接将操作传递给hadoop集群中，从而利用spark 能在多个节点处理大型数据的能力。AEL的目标是一次开发随处执行。

这里需要注意的是，AEL需要在使用spark引擎前配置好：点击打开链接，配置后在run configuration中选择spark引擎。