数据挖掘 Apriori算法 杂货店商品数据集频繁项集挖掘

一、分析目的

假设最小支持度阈值为0.1，复现Apriori算法并在杂货店商品数据集中找出所有的频繁项集，可参考以下流程：

1）找出数据集中的频繁1-项集；

2）根据频繁1-项集生成候选2-项集；

3）判断是否可对候选2-项集进行剪枝操作，然后计算剩余候选2-项集的支持度计数，最后筛选出频繁-2项集；

4）重复以上过程直至候选k-项集为空，最后输出所有的频繁项集。

二、读入文件

编写函数loadDataset()用于读入数据集，并转化为list类型。

使用csv.reader(file)读入.csv文件。由于需要转化为list，对读入的每一行使用transaction = row[0].split(',')：读入一行数据并根据','进行分割，将其转化为含有一行中所有元素的列表。

读入后的数据集打印如下所示：

 

        相关代码如下所示：

def loadDataset():  
    csv_file = 'GroceryStoreDataSet.csv'  
  
    dataset = []  
 
    with open(csv_file, 'r') as file:  
        csv_reader = csv.reader(file)  
        for row in csv_reader:  
            transaction = row[0].split(',')  
            dataset. Append(transaction)  
   # print(*dataset, sep="\n")  
    return dataset  

三、生成候选1-项集

编写函数createCandidate1(dataset)首先生成候选1-项集。

创建空列表C1存储候选1-项集，然后使用两层循环进行遍历，外层循环遍历每条交易记录，内层循环遍历每个商品，把未出现的商品添加到C1中，再对C1进行排序。最后把C1转化为frozenset类型，并返回该列表。

C1是所有不重复的商品，用于后面进一步生成频繁项集。打印C1如下图所示：

       相关代码如下所示：

def createCandidate1(dataset):  
    C1 = []  
    for transaction in dataset:  
        for item in transaction:  
            if not [item] in C1:  
               C1.append([item])  
    C1.sort()  
    print(*C1, sep="\n")  
    return list(map(frozenset, C1))  

四、计算支持度

编写函数scanDataset(Dataset, Ck, minSupport)，对候选集Ck计算支持度，若大于等于最小支持度阈值则加入retList(存储频繁项集)。同时，设置字典ssCnt和supportData，分别存储每个项集出现次数和支持度。其中，使用公式计算支持度。

       对C1调用函数，打印ssCnt和supportData如下图所示：

 

 

        相关代码如下所示：

def scanDataset(Dataset, Ck, minSupport):  
    ssCnt = {}  
    for tid in Dataset:  
        for c in Ck:  
            if c.issubset(tid):  
                if not c in ssCnt:  
                    ssCnt[c] = 1  
                else:  
                    ssCnt[c] += 1  
    numItems = float(len(Dataset))  
    retList = []  
    supportData = {}  
    for key in ssCnt:  
        support = ssCnt[key] / numItems  
        if support >= minSupport:  
            # retList.insert(0,key)  
            retList.append(key)  
            supportData[key] = support  
    # for key, value in supportData.items():  
    #    print(key, ":", value)  
    return retList, supportData  

五、利用频繁k-1-项集生成候选k-项集

编写aprioriGen(Lk, k)函数，使用频繁k-1-项集(Lk表示)生成候选k-项集。使用双层循环，外循环i从0到len(Lk)，内循环从i+1到len(Lk)；使用L = Lk[i] | Lk[j]取两个集合的并集，若去完并集后L仍然有k个元素则说明是候选k-项集，将其添加到字典temp_dict中；最后返回list(temp_dict)。

       打印利用频繁1-项集生成频繁2-项集的结果如下图所示：

        相关代码如下所示：

def aprioriGen(Lk, k):  
    lenLk = len(Lk)  
    temp_dict = {}  
    for i in range(lenLk):  
       for j in range(i + 1, lenLk):  
            L = Lk[i] | Lk[j]  
            if len(L) == k:  
                if not L in temp_dict:  
                    temp_dict[L] = 1  
    print(*list(temp_dict), sep="\n")  
    return list(temp_dict)  

 六、apriori算法

基于上面编写的各函数，实现apriori算法。基本思路为：1）创建候选1-项集，2）对候选1-项集调用函数scanDataset，返回频繁1-项集；3）利用while循环只要前一轮生成的频繁项集不为空，就不断重复生成候选项集、生成频繁项集的操作；4）最后返回所有频繁项集L和supportData。

       编写main函数，调用loadDataset函数和apriori函数，打印所有的频繁项集和对应支持度如下图所示：

        编写代码如下所示：

 

def apriori(dataset, minSupport=0.1):  
    C1 = createCandidate1(dataset)  
    Dataset = list(map(set, dataset))  
    L1, supportData = scanDataset(Dataset, C1, minSupport)  
    # print("L1",L1)  
    L = [L1]  
    k = 2  
    while (len(L[k - 2]) > 0):  
        Ck = aprioriGen(L[k - 2], k)  # 生成候选项集  
        # print("生成的候选项集",Ck)  
        Lk, supK = scanDataset(Dataset, Ck, minSupport)  # 按支持度筛选候选项集  
        # print("筛选出频繁项集",Lk)  
        supportData.update(supK)  
        L.append(Lk)  
        k += 1  
    return L, supportData  
  
if __name__ == "__main__":  
   dataSet = loadDataset()  
    L, supportData = apriori(dataSet)  
    #print(*L, sep="\n")  
    for key, value in supportData.items():  
        print(key, ":", value)  

七、总结与结论

由于设置的最小支持度阈值较小，为0.1，最后输出的频繁项集个数为46，比较多。其中，频繁1-项集有11个，频繁2-项集有24个，频繁3-项集有10个，频繁4-项集有1个。而且可以发现，所有频繁3-项集和部分频繁2-项集的支持度都正好是0.1。如果重新设置最小支持度阈值为0.2，重新运行结果如下：

可以看出，频繁项集的个数有所减少。但如果设置为0.5，则输出频繁项集只有一个{'BREAD'}。可见，该数据集各项间关联度都较低。