Aprior并行化算法在Spark上的实现

最新推荐文章于 2023-03-15 11:32:40 发布

老杨0511

最新推荐文章于 2023-03-15 11:32:40 发布

阅读量4.6k

点赞数 1

分类专栏： Spark 数据挖掘文章标签： spark apriori 关联数据挖掘并行化

本文链接：https://blog.csdn.net/yangmuted/article/details/47420591

版权

本文介绍如何在Spark上实现Apriori并行化算法进行关联数据挖掘，探讨算法优化策略，包括数据压缩、并行化处理、中间结果持久化和使用BitSet数据结构。在特定实验环境下，该实现能在18秒内完成2G数据的1-8频繁项集挖掘。

摘要由CSDN通过智能技术生成

本文为大家分享的Spark实战案例是K-频繁项集挖掘——Apriori并行化算法的实现。关联数据挖掘、频繁项集挖掘的常用算法有Apriori,Fp-growth以及eclat算法。这里我使用Apriori算法进行频繁项集挖掘。Apriori算法于2006年12月被国际权威的学术组织ICDM评为数据挖掘领域的十大经典算法。不熟悉的同学可以关注我的文章，我会详细讲解其原理及实现。

首先给出需求说明：在Chess标准数据集上进行1到8频繁项集的挖掘，其中支持度support=0.85。每个文件的输出格式为项集:频率，如a,b,c:0.85。

我们在写Spark程序的时候一定要注意写出的程序是并行化的，而不是只在client上运行的单机程序。否则你的算法效率将让你跌破眼镜而你还在郁闷为什么Spark这么慢甚至比不上Hadoop-MR。此外还需要对算法做相关优化。在这里主要和大家交流一下算法思路和相关优化。

对于Apriori算法的实现见下文源码。在Spark上实现这个算法的时候主要分为两个阶段。第一阶段是一个整体的遍历求出每个项集的阶段，第二阶段主要是针对第i个项集求出第i+1项集的候选集的阶段。

对于这个算法可以做如下优化：
1. 观察！这点很重要，经过观察可以发现有大量重复的数据，所谓方向不对努力白费也是这个道理，首先需要压缩重复的数据。不然会做许多无用功。
2. 设计算法的时候一定要注意是并行化的，大家可能很疑惑，Spark不就是并行化的么？可是你一不小心可能就写成只在client端运行的算法了。
3. 因为数据量比较大，切记多使用数据持久化以及BroadCast广播变量对中间数据进行相应处理。
4. 数据结构的优化，BitSet是一种优秀的数据结构他只需一位就可以存储以个整形数，对于所给出的数据都是整数的情况特别适用。
下面给出算法实现源码：

import scala.util.control.Breaks._
import scala.collection.mutable.ArrayBuffer
import java.util.BitSet
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark._


object FrequentItemset {
  def main(args: Array[String]) {
    if (args.length != 2) {
      println("USage:<Datapath> <Output>")
    }
    //initial SparkContext
    val sc = new SparkContext()
    val SUPPORT_NUM = 15278611 //Transactions total is num=17974836, SUPPORT_NUM = num*0.85
    val TRANSACITON_NUM = 17974836.0
    val K = 8


    //All transactions after removing transaction ID,