python实现fp_growth调包_FP-growth 算法与Python实现

介绍

打开你的搜索引擎，输入一个单词或一部分，例如“我”，搜索引擎可能会去统计和“我”一块出现得多的词，然后返回给你。其实就是去找频繁项集，而且需要相当地高效，像Apriori那样的速度肯定是不行的了。

本文要介绍的是FP-growth算法，它被用于挖掘频繁项集，它把数据集存储为一个叫FP树的数据结构里，这样可以更高效地发现频繁项集或频繁项对。相比于Apriori对每个潜在的频繁项集都扫描数据集判定是否满足支持度，FP-growth算法只需要遍历两次数据库，因此它在大数据集上的速度显著优于Apriori。

本文的内容和代码主要来源于《机器学习实战》，加入一些自己的理解和测试，有兴趣可以去看看原书。

FP树

FP即Frequent Pattern，FP树看上去就是一棵前缀树，根节点是空集，结点上是单个元素，保存了它在数据集中的出现次数，出现次数越多的元素越接近根。此外，结点之间通过链接(link)相连，只有相似元素会被连起来，连起来的元素又可以看成链表。同一个元素可以在FP树中多次出现，根据位置不同，对应着不同的频繁项集。可以为FP树设置最小支持度，过滤掉出现次数太少的元素。

下面这个数据集构造FP树如下图所示。instance idelements0r, z, h, j, p

1z, y, x, w, v, u, t, s

2z

3r, x, n, o, s

4y, r, x, z, q, t, p

5y, z, x, e, q, s, t, m

这棵树每个结点上都是一个单独的元素，及其在路径中的出现次数，例如"z:5"表示集合{z}出现了5次，而"x:3"表示集合{z,x}出现了3次，这是路径相关的。

FP树结点

树结点定义如下，name存放结点名字，count用于计数，nodeLink用于连接相似结点(即图中箭头)，parent用于存放父节点，用于回溯，children存放儿子结点(即图中实线)。disp仅用于输出调试。class treeNode:

def __init__(self, nameValue, numOccur, parentNode):

self.name = nameValue

self.count = numOccur

self.nodeLink = None

self.parent = parentNode

self.children = {}    def inc(self, numOccur):

self.count += numOccur    def disp(self, ind=1):

print '  '*ind, self.name, ' ', self.count        for child in self.children.values():

child.disp(ind+1)

构建FP树

为了能方便地访问FP树种每一个不同的元素，需要为每种元素(的链表)设置一个头(header)，这个header除了指向指定元素的第一个结点外，还可以保存该元素在数据集中的总出现次数。

首先，遍历一次数据集，统计每个元素出现的次数，然后把出现次数较小的滤掉(例如选取最小支持度3，将出现次数小于3的元素滤除)，然后对每个样本按照元素出现次数重排序。上面给出的数据集样例中，出现次数不小于3的元素有：z、r、x、y、s、t，滤除并重排后的样本如下所示。instance idelementsfiltered & sorted elements0r, z, h, j, pr, z

1z, y, x, w, v, u, t, sz, x, y, s, t

2zz

3r, x, n, o, sx, s, r

4y, r, x, z, q, t, pz, x, y, r, t

5y, z, x, e, q, s, t, mz, x, y, s, t