Spark下FP-Growth

一旦建立了FP树之后就可以不断递归挖掘K频繁项集，对于Hadoop就会产生多次IO操作，严重影响程序运行效率，而Spark这种弹性式内存计算框架可以将中间输出和结果保存在内存中，不需要重复读写HDFS，所以Spark能更好地适用于数据挖掘需要递归的Map-Reduce算法。

Spark下FP-Growth
        在spark下部署FP-growth算法的主要思路分为五步，涉及三步MR。

        第一步：计算F_list，也就是计算所有item的support，这一步可以通过ＭＤ得到，实质和WordCount一样。

        第二步：数据分组，将F_list中的条目分成G个组，就形成了一个Group_list，这其中每一个Group都包含一组item的集合。

        第三步：并行执行FP-growth，这步和上面所说的普通FP-growth是一样的，只是需要MR来完成。这一步中mapper完成的主要功能是数据集分区，逐个处理数据分区中的事务，将事务分为item，每个item根据Group_list映射到合适的group中去，然后在reduce中并行执行FP-growth算法。

        第四步：聚合，这一步将各台机器上的结果聚合成最终的结果。这一步也需要MR来完成，将各台机器上的频繁项集聚合在一起，并计算支持度。