Spark MLlib 数据挖掘6--关联规则与推荐算法

Spark MLlib 数据挖掘6–关联规则与推荐算法

假设两个不相交的非空集合X、Y（X,Y可以理解为物品集），N为数据记录总数。
支持度定义：support(X–>Y) =|X交Y|/N，表示物品集X和Y同时出现的次数占总记录数的比例。
例如 support({啤酒}–>{尿布}) = 啤酒和尿布同时出现的次数/数据记录数 = 3/5=60%。
频繁项集定义：满足最小支持度的项集。
置信度定义：confidence(X–>Y) = |X交Y|/|X| ，集合X与集合Y中的项在一条记录同时出现的总次数/集合X出现的记录数 。
例如：confidence({啤酒}–>{尿布}) = 啤酒和尿布同时出现的次数/啤酒出现的次数=3/3=100%。
confidence({尿布}–>{啤酒}) = 啤酒和尿布同时出现的次数/尿布出现的次数 = 3/4 = 75%。
关联规则：满足最小支持度和置信度的关联关系。
关联规则挖掘步骤：生成频繁项集和生成规则。

基本定律：–Apriori定律
Apriori定律1)：如果一个集合是频繁项集，则它的所有子集都是频繁项集。
举例：假设一个集合{A,B}是频繁项集，即A、B同时出现在一条记录的次数大于等于最小支持度min_support，则它的子集{A},{B}出现次数必定大于等于min_support，即它的子集都是频繁项集。
Apriori定律2)：如果一个集合不是频繁项集，则它的所有超集都不是频繁项集。
举例：假设集合{A}不是频繁项集，即A出现的次数小于min_support，则它的任何超集如{A,B}出现的次数必定小于min_support，因此其超集必定也不是频繁项集。

关于Apriori算法：
Apriori原理，先生成1-频繁项目集，再利用1-频繁项目集生成2-频繁项目集，然后根据2-频繁项目集生成3-频繁项目集，依次类推，直至生成所有的频繁项目集，然后从频繁项目集中找出符合条件的关联规则。
它主要利用了向下封闭属性：如果一个项集是频繁项目集，那么它的非空子集必定是频繁项目集。
如下图所示：

关于FP-Growth算法 ：
FP-Growth算法将数据库中的频繁项集压缩到一颗频繁模式树中，同时保持了频繁项集之间的关联关系。
FP-Growth算法流程：
第一次扫描数据库，产生频繁1项集，并对产生的频繁项集按照频数降序排列，并剪枝支持数低于阀值的元素。处理后得到L集合。
第二次扫描数据库，对数据库的每个交易事务中的项按照L集合中项出现的顺序排序，生成FP-Tree。
例如下面图中例子所示：
假设存在如下订单，其中A、B、C、D、E分别代表不同商品。

FP-Growth算法应用-构建FP-Tree：

FP-Growth算法应用-FP-Tree生成频繁项集：

频繁项集：
<E,A,2>; <E,B,2>; <E,A,B,2>; <D,B,2>;<C,A,B,2>;<C,A,4>;<C,B,4>;<A,B,4>

关于PrefixSpan算法 ：
PrefixSpan算法的全称是Prefix-Projected Pattern Growth，即前缀投影的模式挖掘。
在PrefixSpan算法中的前缀prefix通俗意义讲就是序列数据前面部分的子序列。比如对于序列数据B=<a(abc)(ac)d(cf)>，而A=<a(abc)a>,则A是B的前缀。

PrefixSpan算法流程 ：
输入：序列数据集S和支持度阈值α
输出：所有满足支持度要求的频繁序列集
1）找出所有长度为1的前缀和对应的投影数据库
2）对长度为1的前缀进行计数，将支持度低于阈值α的前缀对应的项从数据集S删除，同时得到所有的频繁1项序列，i=1.
3）对于每个长度为i满足支持度要求的前缀进行递归挖掘：
a) 找出前缀所对应的投影数据库。如果投影数据库为空，则递归返回。
b) 统计对应投影数据库中各项的支持度计数。如果所有项的支持度计数都低于阈值α，则递归返回。
c) 将满足支持度计数的各个单项和当前的前缀进行合并，得到若干新的前缀。
d) 令i=i+1，前缀为合并单项后的各个前缀，分别递归执行第3步。

注意：
spark.mllib提供了关联规则算法实现包括：
FP-growth
PrefixSpan
Spark MLlib中FP-Growth算法：Spark MLlib样例代码，读取数据进行频繁模式挖掘如下：

import org.apache.spark.mllib.fpm.FPGrowth
import org.apache.spark.rdd.RDD

val data = sc.textFile("data/mllib/sample_fpgrowth.txt")

val transactions: RDD[Array[String]] = data.map(s => s.trim.split(