推荐系统实践(二)FPGrowth

最新推荐文章于 2024-06-09 08:00:00 发布

礼拜天吃芋圆

最新推荐文章于 2024-06-09 08:00:00 发布

阅读量3.9k

点赞数 5

分类专栏：推荐算法实践文章标签：推荐算法

本文链接：https://blog.csdn.net/weixin_38636668/article/details/90265533

版权

推荐算法实践专栏收录该内容

14 篇文章 7 订阅

订阅专栏

关联规则之FPGrowth

一、原理：
与Apriori相比，只需要扫描两个数据库。

第一次扫描：
得到每个元素出现的次数，去除低于阈值的项，并排序。再对不同的项，按次序的高低排序
第二次扫描：
构建FP-TREE树，从FP树中找到关联规则。

二、算法流程步骤：
FP Tree算法包括三步：

1）扫描数据，得到所有频繁一项集的的计数。然后删除支持度低于阈值的项，将1项频繁集放入项头表，并按照支持度降序排列。

2）扫描数据，将读到的原始数据剔除非频繁1项集，并按照支持度降序排列。

3）读入排序后的数据集，插入FP树，插入时按照排序后的顺序，插入FP树中，排序靠前的节点是祖先节点，而靠后的是子孙节点。如果有共用的祖先，则对应的公用祖先节点计数加1。插入后，如果有新节点出现，则项头表对应的节点会通过节点链表链接上新节点。直到所有的数据都插入到FP树后，FP树的建立完成。

4）从项头表的底部项依次向上找到项头表项对应的条件模式基。从条件模式基递归挖掘得到项头表项项的频繁项集。

5）如果不限制频繁项集的项数，则返回步骤4所有的频繁项集，否则只返回满足项数要求的频繁项集。

三、核心步骤：
1.FP tree的构造
在这里插入图片描述
对FP树的构建包含了：名字，计数，指向下一个相同节点，父节点，子节点
name：节点元素名称，在构造时初始化为给定值
count：出现次数，在构造时初始化为给定值
nodeLink：指向下一个相似节点的指针，默认为None（指向下一个相同节点）
parent：指向父节点的指针，在构造时初始化为给定值
children：指向子节点的字典，以子节点的元素名称为键，指向子节点的指针为值，初始化为空字典

2.项头表的建立：
指的是相对字符进行排序，去除低于阈值的项，再对每项值进行排序
在这里插入图片描述

3 FP Tree的建立
把上面的项头表的每一项的值，一项一项的插入到FP tree中。
插第一个
在这里插入图片描述
插第二个：

依次插入。

4.FP Tree的挖掘
要从项头表的底部项依次向上挖掘。对于项头表对应于FP树的每一项，我们要找到它的条件模式基。所谓条件模式基是以我们要挖掘的节点作为叶子节点所对应的FP子树。得到这个FP子树，我们将子树中每个节点的的计数设置为叶子节点的计数，并删除计数低于支持度的节点。从这个条件模式基，我们就可以递归挖掘得到频繁项集了。

根据第三步，最终的FP 树为:
在这里插入图片描述
（1）从F往上求条件模式基。
对于F的条件模式基：

通过它，我们很容易得到F的频繁2项集为{A:2,F:2}, {C:2,F:2}, {E:2,F:2}, {B:2,F:2}。递归合并二项集，得到频繁三项集为{A:2,C:2,F:2}，{A:2,E:2,F:2},…还有一些频繁三项集，就不写了。当然一直递归下去，最大的频繁项集为频繁5项集，为{A:2,C:2,E:2,B:2,F:2}

（2）对于D的条件模式基：
D节点比F节点复杂一些，因为它有两个叶子节点，因此首先得到的FP子树如下图左。我们接着将所有的祖先节点计数设置为叶子节点的计数，即变成{A:2, C:2,E:1 G:1,D:1, D:1}此时E节点和G节点由于在条件模式基里面的支持度低于阈值，被我们删除，最终在去除低支持度节点并不包括叶子节点后D的条件模式基为{A:2, C:2}。通过它，我们很容易得到D的频繁2项集为{A:2,D:2}, {C:2,D:2}。递归合并二项集，得到频繁三项集为{A:2,C:2,D:2}。D对应的最大的频繁项集为频繁3项集。
在这里插入图片描述
依次下去求解。最后，至此我们得到了所有的频繁项集，如果我们只是要最大的频繁K项集，从上面的分析可以看到，最大的频繁项集为5项集。包括{A:2, C:2, E:2,B:2,F:2}。

四、代码实现：
1.对FP tree的定义：
对FP树的构建包含了：名字，计数，指向下一个相同节点，父节点，子节点
name：节点元素名称，在构造时初始化为给定值
count：出现次数，在构造时初始化为给定值
nodeLink：指向下一个相似节点的指针，默认为None（指向下一个相同节点）
parent：指向父节点的指针，在构造时初始化为给定值
children：指向子节点的字典，以子节点的元素名称为键，指向子节点的指针为值，初始化为空字典

class treeNode:
    def __init__(self, nameValue, numOccur, parentNode):
        '''

        name：节点元素名称，在构造时初始化为给定值
        count：出现次数，在构造时初始化为给定值
        nodeLink：指向下一个相似节点的指针，默认为None
        parent：指向父节点的指针，在构造时初始化为给定值
        children：指向子节点的字典，以子节点的元素名称为键，指向子节点的指针为值，初始化为空字典
        '''
        self.name = nameValue
        self.count = numOccur
        self.nodeLink = None
        # needs to be updated
        self.parent = parentNode
        self.children = {}
    def inc(self, numOccur):
        """inc(对count变量增加给定值)
        """
        self.count += numOccur
    def disp(self, ind=1):
        """disp(用于将树以文本形式显示)  #输出节点和子节点的FP树结构
        """
        print(' '*ind, self.name, ' ', self.count)
        for child in self.children.values():
            child.disp(ind+1)
    def __lt__(self, other):
        return self.count < other.count

2.加载数据：

def loadSimpDat():
    simpDat = [['r', 'z', 'h', 'j', 'p'],
               ['z', 'y', 'x', 'w', 'v', 'u', 't', 's'],
               ['z'],
               ['r', 'x', 'n', 'o', 's'],
               ['y', 'r', 'x', 'z', 'q', 't', 'p'],
               ['y', 'z', 'x', 'e', 'q', 's', 't', 'm']]
    return simpDat

def LoadMoive():
    file = open('./data/ml-100k/u1.base')
    middle = {}
    ret = []
    for line in file.readlines():

        line=line.strip('\n')
        # print(line.split('\t'))
        uid,mid,_,_ = line.split('\t')
        if uid not in middle.keys():
            middle[uid] = []
        middle[uid].append(int(mid))
    for k,v in middle.items():
        ret.append(v)
    return ret

3.构建FP-tree
1).计算每个项出现的次数,
2)删除出现次数低于minSup的项
3）对项按照总的次数进行排序
4）把每项加入FP tree中：如果第一项在第个节点的孩子节点中，则count+1；如不在添加子节点。如果之前有相同节点则，nodeLink连接起来；如果没有，则新建一个。再一个个加入树中。

#生成的样例数据同文中用得一样。这个诡异的输入格式就是createInitSet()函数中这样来得。
def createInitSet(dataSet):
    retDict = {}
    for trans in dataSet:
        if frozenset(trans) not in retDict:
            retDict[frozenset(trans)] = 1
        else:
            retDict[frozenset(trans)] += 1
    return retDict




# this version does not use recursion
#这个函数其实只做了一件事，就是获取头指针表中该元素项对应的单链表的尾节点，然后将其指向新节点targetNode。
def updateHeader(nodeToTest, targetNode):
    """updateHeader(更新头指针，建立相同元素之间的关系，例如： 左边的r指向右边的r值，就是后出现的相同元素 指向 已经出现的元素)
    从头指针的nodeLink开始，一直沿着nodeLink直到到达链表末尾。这就是链表。
    性能：如果链表很长可能会遇到迭代调用的次数限制。
    Args:
        nodeToTest  满足minSup {所有的元素+(value, treeNode)}
        targetNode  Tree对象的子节点
    """
    # 建立相同元素之间的关系，例如： 左边的r指向右边的r值
    while (nodeToTest.nodeLink is not None):
        nodeToTest = nodeToTest.nodeLink
    nodeToTest.nodeLink = targetNode



def updateTree(items, inTree, headerTable, count):
    """updateTree(更新FP-tree，第二次遍历)
    # 针对每一行的数据
    # 最大的key,  添加
    Args:
        items       满足minSup 排序后的元素key的数组（大到小的排序）
        inTree      空的Tree对象
        headerTable 满足minSup {所有的元素+(value, treeNode)}
        count       原数据集中每一组Kay出现的次数
    """
    # 取出 元素 出现次数最高的
    # 如果该元素在 inTree.children 这个字典中，就进行累加
    # 如果该元素不存在 就 inTree.children 字典中新增key，value为初始化的 treeNode 对象
    if items[0] in inTree.children:
        # 更新 最大元素，对应的 treeNode 对象的count进行叠加
        inTree.children[items[0]].inc(count)
    else:
        # 如果不存在子节点，我们为该inTree添加子节点
        inTree.children[items[0]] = treeNode(items[0], count, inTree)
        # 如果满足minSup的dist字典的value值第二位为null， 我们就设置该元素为 本节点对应的tree节点
        # 如果元素第二位不为null，我们就更新header节点
        if headerTable[items[0]][1] is None:
            # headerTable只记录第一次节点出现的位置
            headerTable[items[0]][1] = inTree.children[items[0]]
        else:
            # 本质上是修改headerTable的key对应的Tree，的nodeLink值
            updateHeader(headerTable[items[0]][1], inTree.children[items[0]])
    if len(items) > 1:
        # 递归的调用，在items[0]的基础上，添加item0[1]做子节点， count只要循环的进行累计加和而已，统计出节点的最后的统计值。
        updateTree(items[1:], inTree.children[items[0]], headerTable, count)



def createTree(dataSet, minSup=1):
    """createTree(生成FP-tree)
    Args:
        dataSet  dist{行：出现次数}的样本数据
        minSup   最小的支持度
    Returns:
        retTree  FP-tree
        headerTable 满足minSup {所有的元素+(value, treeNode)}
    """
    # 支持度>=minSup的dist{所有元素：出现的次数}
    headerTable = {}
    # 循环 dist{行：出现次数}的样本数据
    for trans in dataSet:
        #print(trans) #frozenset({'p', 'r', 'j', 'h', 'z'})
        # 对所有的行进行循环，得到行里面的所有元素
        # 统计每一行中，每个元素出现的总次数
        for item in trans:
            # 例如： {'ababa': 3}  count(a)=3+3+3=9   count(b)=3+3=6
            headerTable[item] = headerTable.get(item, 0) + dataSet[trans]
    # 删除 headerTable中，元素次数<最小支持度的元素
    temp_keys = list(headerTable.keys())
    for k in temp_keys:
        if headerTable[k] < minSup:
            del(headerTable[k])
    # 满足minSup: set(各元素集合)
    freqItemSet = set(headerTable.keys())
    # 如果不存在，直接返回None
    if len(freqItemSet) == 0:
        return None, None
    for k in headerTable:
        # 格式化： dist{元素key: [元素次数, None]}
        headerTable[k] = [headerTable[k], None]

    # create tree
    retTree = treeNode('Null Set', 1, None)
    # 循环 dist{行：出现次数}的样本数据
    for tranSet, count in dataSet.items():
        # print 'tranSet, count=', tranSet, count
        # localD = dist{元素key: 元素总出现次数}
        localD = {} # 对一个项集tranSet，记录其中每个元素项的全局频率，用于排序
        for item in tranSet:
            # 判断是否在满足minSup的集合中
            if item in freqItemSet:
                # print 'headerTable[item][0]=', headerTable[item][0], headerTable[item]
                localD[item] = headerTable[item][0]
        # print 'localD=', localD
        if len(localD) > 0:
            # p=key,value; 所以是通过value值的大小，进行从大到小进行排序
            # orderedItems 表示取出元组的key值，也就是字母本身，但是字母本身是大到小的顺序
            orderedItems = [v[0] for v in sorted(localD.items(), key=lambda p: p[1], reverse=True)]  # 排序
            # print 'orderedItems=', orderedItems, 'headerTable', headerTable, '\n\n\n'
            # 填充树，通过有序的orderedItems的第一位，进行顺序填充 第一层的子节点。
            updateTree(orderedItems, retTree, headerTable, count)  # 更新FP树
    return retTree, headerTable

4.求每个节点的条件模式基，再输出关联规则

def ascendTree(leafNode, prefixPath):
    """ascendTree(如果存在父节点，就记录当前节点的name值)
    Args:
        leafNode   查询的节点对于的nodeTree
        prefixPath 要查询的节点值
    """
    if leafNode.parent is not None:
        prefixPath.append(leafNode.name)
        ascendTree(leafNode.parent, prefixPath)


#给定元素，生成条件模式基（前缀路经）
def findPrefixPath(basePat, treeNode):
    """findPrefixPath 基础数据集
    Args:
        basePat  要查询的节点值
        treeNode 查询的节点所在的当前nodeTree
    Returns:
        condPats 对非basePat的倒叙值作为key,赋值为count数
    """
    #print("basePat %s" %(basePat))
    #print("treeNode %s" %(treeNode))
    condPats = {}
    # 对 treeNode的link进行循环
    while treeNode is not None:
        prefixPath = []
        # 寻找改节点的父节点，相当于找到了该节点的频繁项集
        ascendTree(treeNode, prefixPath) #找路径
        #print(prefixPath)  #['x', 'z'] ['x']
        # 避免 单独`Z`一个元素，添加了空节点
        if len(prefixPath) > 1:
            # print(prefixPath)  #['x', 'z']
            # 对非basePat的倒叙值作为key,赋值为count数
            # prefixPath[1:] 变frozenset后，字母就变无序了
            # condPats[frozenset(prefixPath)] = treeNode.count
            condPats[frozenset(prefixPath[1:])] = treeNode.count
            #print(condPats)
        # 递归，寻找改节点的下一个 相同值的链接节点
        treeNode = treeNode.nodeLink
        #print (treeNode)
    return condPats



def mineTree(inTree, headerTable, minSup, preFix, freqItemList):
    """mineTree(创建条件FP树)
    Args:
        inTree       myFPtree
        headerTable  满足minSup {所有的元素+(value, treeNode)}
        minSup       最小支持项集
        preFix       preFix为newFreqSet上一次的存储记录，一旦没有myHead，就不会更新
        freqItemList 用来存储频繁子项的列表
    """
    # 通过value进行从小到大的排序， 得到频繁项集的key
    # 最小支持项集的key的list集合
    bigL = [v[0] for v in sorted(headerTable.items(), key=lambda p: p[1])] #(sort header table)
    #print('-----', sorted(headerTable.items(), key=lambda p: p[1]))
    #print('bigL=', bigL)
    # 循环遍历 最频繁项集的key，从小到大的递归寻找对应的频繁项集
    for basePat in bigL:
        # preFix为newFreqSet上一次的存储记录，一旦没有myHead，就不会更新
        newFreqSet = preFix.copy()
        newFreqSet.add(basePat)
        # print('newFreqSet=', newFreqSet, preFix)
        freqItemList.append(newFreqSet)
        # print('freqItemList=', freqItemList)
        condPattBases = findPrefixPath(basePat, headerTable[basePat][1])
        # print('condPattBases=', basePat, condPattBases)
        # 构建FP-tree
        myCondTree, myHead = createTree(condPattBases, minSup)
        # print('myHead=', myHead)
        # 挖掘条件 FP-tree, 如果myHead不为空，表示满足minSup {所有的元素+(value, treeNode)}
        if myHead is not None:
            # myCondTree.disp(1)
            # print('\n\n\n')
            # 递归 myHead 找出频繁项集
            mineTree(myCondTree, myHead, minSup, newFreqSet, freqItemList)
        # print('\n\n\n')

5.主函数：


if __name__ =="__main__":
    # print(data1)
    simpDat = loadSimpDat()
    # simpDat = LoadMoive()
    initSet = createInitSet(simpDat)  # frozenset({'h', 'j', 'z', 'r', 'p'}): 1
    myFPtree, myHeaderTab = createTree(initSet, 3)
    # myFPtree.disp()
    # print(myHeaderTab)

    # b = findPrefixPath('C',myHeaderTab['C'][1])
    # print (b)

    # print(findPrefixPath('x',myHeaderTab['x'][1])) #得到每个前缀 条件模式基
    # print(findPrefixPath('y',myHeaderTab['y'][1]))
    # print(findPrefixPath('r',myHeaderTab['r'][1]))

    freqItems = []
    mineTree(myFPtree, myHeaderTab, 2, set([]), freqItems)
    # for x in freqItems:
    #     print(x)  # 打印频繁项集

礼拜天吃芋圆

关注

5
点赞
踩
43

收藏

觉得还不错? 一键收藏
0
评论
推荐系统实践(二)FPGrowth

关联规则之FPGrowth一、原理：与Apriori相比，只需要扫描两个数据库。第一次扫描：得到每个元素出现的次数，去除低于阈值的项，并排序。再对不同的项，按次序的高低排序第二次扫描：构建FP-TREE树，从FP树中找到关联规则。二、算法流程步骤：FP Tree算法包括三步：1）扫描数据，得到所有频繁一项集的的计数。然后删除支持度低于阈值的项，将1项频繁集放入项头表，并按照支持度...
复制链接

扫一扫

专栏目录