Apriori

Apriori算法详解和python实现

Apriori算法详解

概念引进

在讲Apriori算法之前，先引进几个概念

项目

项目就是数据集种最小的独立单位，举个例子，就像购物单中的啤酒，就是一个项目

项集

项集就是项目的集合，比如{牛奶，啤酒，尿不湿}就是一个集合

关联规则

关联规则X->Y表示在X事件发生时，Y事件也发生

支持度

可以理解为对某个项集的支持度，就是某一个项集在数据集中出现的频率，例如有这么一个数据集

1，3，4，5

6，3，4，2

3，4，2，6

1，3，6 ，6

1，2，3，4

项集{2，3}在里面一共出现了3次，那么项集{2，3}的支持度为3/5=0.6

置信度

这个可以理解为关联关系的可信赖程度，例如存在关联关系X->Y

置信度condidence(X->Y)=P(Y|X)=P(X,Y)/P(X)

频繁k项集

k项集就是一个项集含有k个项目，那么频繁是什么意思，显然字面意思，就是频繁出现的项集，那么我们要这么判断一个项集是否频繁出现？提出一个新的概念，最小支持度，上文我们提到，每一个项集我们都存在一个支持度，那么我们给定一个具体的数值，可以是1/2，也可以是1/3，如果该k项集的最小支持率大于等于给出的最小支持率，那么我们把它看作为频繁k项集。

问题

但是我们会发现如果我们直接循环对所有的k项集进行判断的话，我们需要执行2^k次判断，这显然是不合理的，于是我们提出了一种用于快速求解k项集算法——Apriori算法

Apriori算法

Apriori第一定律：

如果存在某个r项集不满足最小支持率，那么r项集连接成的r+1项集（超集）也必不满足

即如果{1，2}不满足，那么{1，2，3}，{1，2，4}也一定不满足

Apriori第二定律:

如果存在某个r项集满足最小支持率，那么可以连接成r项的r-1项（子集）也一定满足

即如果存在{2，3，4}满足，那么{2，3}，{3，4}均一定满足。

给出数据集：

1，3，4，5

6，3，4，2

3，4，2，6

1，3，6

1，2，3，4

算法如下：(取最小支持率为0.7)

1、扫描整个数据集得到所有出现过的数据，作为候选频繁1项集。

1项集	支持率
{1}	0.6
{2}	0.6
{3}	1
{4}	0.8
{5}	0.2
{6}	0.6

2、寻找频繁k项集

a、得到所有k项集的支持率，除去不满足最小支持率的，得到频繁k项集，若为空，则返回频繁k-1项集的结果；若等于1，则直接返回频繁k项集的结果，算法结束

b、若大于1，则连接成k+1次项集，并除去那些置信度不大于最小置信度的连接

3、k=k+1，转步骤2

继续实现以上的步骤 得到频繁1项集之后进行连接，得到2项集：

2项集	支持率
{1，4}	0.6

发现不满足，返回k-1项集，结束

Python实现

# Apriori.py
from apyori import apriori


# 项目集的支持率计算,这里用的是出现的次数，不是真正的支持率
def support_rate(data, project):
    result = 0
    for i in data:
        bl = True
        for x in project:
            if x not in i:
                bl = False
        if bl:
            result += 1
    return result


# 计算机X->Y的置信度
def confidence(X, Y, data):
    XY = list(set(X + Y))
    return support_rate(data, XY) / support_rate(data, X)


# 判断是否需要剪切
def ispruning(data, project, rate):
    return support_rate(data, project) < rate


# 寻找数据集中所有出现过的项目构成1项集，并计算支持率,这里直接用了出现的次数
def find_first_map(data):
    result = []
    for i in range(len(data)):
        for j in range(len(data[i])):
            if [data[i][j]] not in result:
                result.append([data[i][j]])
    return result


# 剪切操作
def pruning_map(data, projects, rate):
    for i in range(len(projects) - 1, -1, -1):      # 因为会减小projects的长度，如果使用正序就会数组越界，因此采用逆序遍历
        if ispruning(data, projects[i], rate):
            if i < len(projects) - 1:
                projects = projects[:i] + projects[i + 1:]
            else:
                projects = projects[:i]
    return projects


# 连接操作
def connection(projects, now, min_confidence, data):
    new_pro = []
    for i in range(len(projects)):
        for j in range(i + 1, len(projects)):
            if now < 2:        # 此时为1项集可以直接连接
                pro = list(set(projects[i] + projects[j]))
                if pro not in new_pro:
                    new_pro.append(pro)
            else:
                count = 0
                for one in projects[i]:
                    if one in projects[j]:
                        count += 1
                if count == now - 1:  # 类似的，3项连接成4项的前提是有两个相等的
                    pro = list(set(projects[i] + projects[j]))
                    if pro not in new_pro and confidence(projects[i], projects[j], data) >= min_confidence:
                        new_pro.append(pro)
    new_pro2 = []
    for i in new_pro:
        if i not in new_pro2:
            new_pro2.append(i)
    return new_pro2


# Apriori算法
def Apriori(data, min_support, min_condidence):
    pros = find_first_map(data)
    oldpro = pros
    newpro = oldpro
    min_support = len(data) * min_support
    i = 1
    while True:
        newpro = pruning_map(data, newpro, min_support)
        if len(newpro) == 0:
            return oldpro
        if len(newpro) == 1:
            return newpro
        oldpro = newpro
        print("k=", i, " ", oldpro)
        newpro = connection(oldpro, i, min_condidence, data)
        i += 1


file = open("mushroom.txt", 'r')
data = []
while True:
    line = file.readline()
    if not line:
        break
    line = line.split()
    data.append(list(map(int, line)))
result = Apriori(data=data, min_support=0.50, min_condidence=0.8)
for i in result:
    print("Set of items:", i, "   support:{:.3f}".format(support_rate(data, i) / len(data)))

以下为输出数据，为防止结果太多，本文选取最低支持率为0.5，以下对应的是k不同值的情况下的频繁k项表，

k= 1   [[34], [36], [59], [63], [67], [76], [85], [86], [90], [2], [39], [24], [53]]
k= 2   [[34, 36], [34, 59], [34, 63], [34, 67], [34, 76], [34, 85], [34, 86], [34, 90], [34, 39], [24, 34], [34, 53], [59, 36], [36, 63], [36, 85], [36, 86], [90, 36], [36, 39], [59, 63], [59, 85], [59, 86], [90, 59], [85, 63], [86, 63], [90, 63], [67, 85], [67, 86], [76, 85], [76, 86], [85, 86], [90, 85], [2, 85], [85, 39], [24, 85], [53, 85], [90, 86], [86, 39], [24, 86], [53, 86], [90, 39], [24, 90], [90, 53]]
k= 3   [[34, 36, 85], [34, 36, 86], [34, 36, 90], [34, 59, 85], [34, 59, 86], [34, 59, 90], [34, 59, 36], [34, 85, 63], [34, 86, 63], [34, 90, 63], [34, 67, 85], [34, 67, 86], [34, 76, 85], [34, 76, 86], [34, 85, 86], [34, 90, 85], [34, 90, 86], [34, 85, 90], [34, 36, 39], [34, 85, 39], [34, 86, 39], [34, 90, 39], [24, 34, 85], [24, 34, 86], [24, 34, 90], [34, 85, 53], [34, 53, 86], [34, 90, 53], [59, 36, 85], [59, 36, 86], [90, 59, 36], [36, 85, 63], [36, 85, 86], [90, 36, 85], [90, 36, 86], [36, 85, 39], [36, 86, 39], [90, 36, 39], [59, 85, 63], [59, 85, 86], [90, 59, 85], [90, 59, 86], [85, 86, 63], [90, 85, 63], [90, 86, 63], [67, 85, 86], [76, 85, 86], [90, 85, 86], [85, 86, 39], [90, 85, 39], [24, 85, 86], [24, 90, 85], [85, 53, 86], [90, 85, 53], [90, 86, 39], [24, 90, 86], [90, 53, 86]]
k= 4   [[34, 36, 85, 86], [34, 90, 36, 85], [34, 36, 90, 86], [34, 85, 36, 90], [34, 59, 85, 86], [90, 34, 59, 85], [34, 59, 36, 85], [34, 59, 90, 86], [34, 59, 36, 86], [34, 59, 85, 90], [34, 85, 86, 63], [34, 90, 85, 63], [34, 90, 86, 63], [34, 85, 90, 63], [34, 67, 85, 86], [34, 76, 85, 86], [34, 90, 85, 86], [34, 85, 90, 86], [34, 85, 90, 36], [34, 36, 85, 39], [34, 36, 86, 39], [34, 85, 86, 39], [34, 90, 85, 39], [34, 90, 86, 39], [34, 85, 90, 39], [24, 34, 85, 86], [24, 34, 90, 85], [24, 34, 90, 86], [24, 34, 85, 90], [34, 53, 85, 86], [90, 34, 53, 85], [34, 90, 53, 86], [34, 85, 53, 86], [34, 53, 85, 90], [34, 53, 90, 86], [59, 36, 85, 86], [90, 59, 36, 85], [90, 36, 85, 86], [36, 85, 86, 39], [90, 36, 85, 39], [90, 59, 85, 86], [90, 85, 86, 63], [90, 85, 86, 39], [24, 90, 85, 86], [90, 53, 85, 86]]
k= 5   [[34, 36, 85, 86, 90], [34, 85, 86, 90, 59], [34, 36, 85, 86, 59], [34, 85, 86, 90, 63], [34, 36, 39, 85, 86], [34, 39, 85, 86, 90], [34, 85, 86, 24, 90], [34, 85, 53, 86, 90], [34, 53, 85, 86, 90]]
Set of items: [34, 36, 85, 86, 90]    support:0.772
Set of items: [34, 85, 86, 90, 59]    support:0.559
Set of items: [34, 36, 85, 86, 59]    support:0.521
Set of items: [34, 85, 86, 90, 63]    support:0.530
Set of items: [34, 36, 39, 85, 86]    support:0.535
Set of items: [34, 39, 85, 86, 90]    support:0.589
Set of items: [34, 85, 86, 24, 90]    support:0.518
Set of items: [34, 85, 53, 86, 90]    support:0.567
Set of items: [34, 53, 85, 86, 90]    support:0.567

以上为全部内容。