Apriori算法详解和python实现
Apriori算法详解
概念引进
在讲Apriori算法之前,先引进几个概念
项目
项目就是数据集种最小的独立单位,举个例子,就像购物单中的啤酒,就是一个项目
项集
项集就是项目的集合,比如{牛奶,啤酒,尿不湿}就是一个集合
关联规则
关联规则X->Y表示在X事件发生时,Y事件也发生
支持度
可以理解为对某个项集的支持度,就是某一个项集在数据集中出现的频率,例如有这么一个数据集
1,3,4,5
6,3,4,2
3,4,2,6
1,3,6 ,6
1,2,3,4
项集{2,3}在里面一共出现了3次,那么项集{2,3}的支持度为3/5=0.6
置信度
这个可以理解为关联关系的可信赖程度,例如存在关联关系X->Y
置信度condidence(X->Y)=P(Y|X)=P(X,Y)/P(X)
频繁k项集
k项集就是一个项集含有k个项目,那么频繁是什么意思,显然字面意思,就是频繁出现的项集,那么我们要这么判断一个项集是否频繁出现?提出一个新的概念,最小支持度,上文我们提到,每一个项集我们都存在一个支持度,那么我们给定一个具体的数值,可以是1/2,也可以是1/3,如果该k项集的最小支持率大于等于给出的最小支持率,那么我们把它看作为频繁k项集。
问题
但是我们会发现如果我们直接循环对所有的k项集进行判断的话,我们需要执行2^k次判断,这显然是不合理的,于是我们提出了一种用于快速求解k项集算法——Apriori算法
Apriori算法
Apriori第一定律:
如果存在某个r项集不满足最小支持率,那么r项集连接成的r+1项集(超集)也必不满足
即如果{1,2}不满足,那么{1,2,3},{1,2,4}也一定不满足
Apriori第二定律:
如果存在某个r项集满足最小支持率,那么可以连接成r项的r-1项(子集)也一定满足
即如果存在{2,3,4}满足,那么{2,3},{3,4}均一定满足。
给出数据集:
1,3,4,5
6,3,4,2
3,4,2,6
1,3,6
1,2,3,4
算法如下:(取最小支持率为0.7)
1、扫描整个数据集得到所有出现过的数据,作为候选频繁1项集。
1项集 | 支持率 |
---|---|
{1} | 0.6 |
{2} | 0.6 |
{3} | 1 |
{4} | 0.8 |
{5} | 0.2 |
{6} | 0.6 |
2、寻找频繁k项集
a、得到所有k项集的支持率,除去不满足最小支持率的,得到频繁k项集,若为空,则返回频繁k-1项集的结果;若等于1,则直接返回频繁k项集的结果,算法结束
b、若大于1,则连接成k+1次项集,并除去那些置信度不大于最小置信度的连接
3、k=k+1,转步骤2
继续实现以上的步骤 得到频繁1项集之后进行连接,得到2项集:
2项集 | 支持率 |
---|---|
{1,4} | 0.6 |
发现不满足,返回k-1项集,结束
Python实现
# Apriori.py
from apyori import apriori
# 项目集的支持率计算,这里用的是出现的次数,不是真正的支持率
def support_rate(data, project):
result = 0
for i in data:
bl = True
for x in project:
if x not in i:
bl = False
if bl:
result += 1
return result
# 计算机X->Y的置信度
def confidence(X, Y, data):
XY = list(set(X + Y))
return support_rate(data, XY) / support_rate(data, X)
# 判断是否需要剪切
def ispruning(data, project, rate):
return support_rate(data, project) < rate
# 寻找数据集中所有出现过的项目构成1项集,并计算支持率,这里直接用了出现的次数
def find_first_map(data):
result = []
for i in range(len(data)):
for j in range(len(data[i])):
if [data[i][j]] not in result:
result.append([data[i][j]])
return result
# 剪切操作
def pruning_map(data, projects, rate):
for i in range(len(projects) - 1, -1, -1): # 因为会减小projects的长度,如果使用正序就会数组越界,因此采用逆序遍历
if ispruning(data, projects[i], rate):
if i < len(projects) - 1:
projects = projects[:i] + projects[i + 1:]
else:
projects = projects[:i]
return projects
# 连接操作
def connection(projects, now, min_confidence, data):
new_pro = []
for i in range(len(projects)):
for j in range(i + 1, len(projects)):
if now < 2: # 此时为1项集可以直接连接
pro = list(set(projects[i] + projects[j]))
if pro not in new_pro:
new_pro.append(pro)
else:
count = 0
for one in projects[i]:
if one in projects[j]:
count += 1
if count == now - 1: # 类似的,3项连接成4项的前提是有两个相等的
pro = list(set(projects[i] + projects[j]))
if pro not in new_pro and confidence(projects[i], projects[j], data) >= min_confidence:
new_pro.append(pro)
new_pro2 = []
for i in new_pro:
if i not in new_pro2:
new_pro2.append(i)
return new_pro2
# Apriori算法
def Apriori(data, min_support, min_condidence):
pros = find_first_map(data)
oldpro = pros
newpro = oldpro
min_support = len(data) * min_support
i = 1
while True:
newpro = pruning_map(data, newpro, min_support)
if len(newpro) == 0:
return oldpro
if len(newpro) == 1:
return newpro
oldpro = newpro
print("k=", i, " ", oldpro)
newpro = connection(oldpro, i, min_condidence, data)
i += 1
file = open("mushroom.txt", 'r')
data = []
while True:
line = file.readline()
if not line:
break
line = line.split()
data.append(list(map(int, line)))
result = Apriori(data=data, min_support=0.50, min_condidence=0.8)
for i in result:
print("Set of items:", i, " support:{:.3f}".format(support_rate(data, i) / len(data)))
以下为输出数据,为防止结果太多,本文选取最低支持率为0.5,以下对应的是k不同值的情况下的频繁k项表,
k= 1 [[34], [36], [59], [63], [67], [76], [85], [86], [90], [2], [39], [24], [53]]
k= 2 [[34, 36], [34, 59], [34, 63], [34, 67], [34, 76], [34, 85], [34, 86], [34, 90], [34, 39], [24, 34], [34, 53], [59, 36], [36, 63], [36, 85], [36, 86], [90, 36], [36, 39], [59, 63], [59, 85], [59, 86], [90, 59], [85, 63], [86, 63], [90, 63], [67, 85], [67, 86], [76, 85], [76, 86], [85, 86], [90, 85], [2, 85], [85, 39], [24, 85], [53, 85], [90, 86], [86, 39], [24, 86], [53, 86], [90, 39], [24, 90], [90, 53]]
k= 3 [[34, 36, 85], [34, 36, 86], [34, 36, 90], [34, 59, 85], [34, 59, 86], [34, 59, 90], [34, 59, 36], [34, 85, 63], [34, 86, 63], [34, 90, 63], [34, 67, 85], [34, 67, 86], [34, 76, 85], [34, 76, 86], [34, 85, 86], [34, 90, 85], [34, 90, 86], [34, 85, 90], [34, 36, 39], [34, 85, 39], [34, 86, 39], [34, 90, 39], [24, 34, 85], [24, 34, 86], [24, 34, 90], [34, 85, 53], [34, 53, 86], [34, 90, 53], [59, 36, 85], [59, 36, 86], [90, 59, 36], [36, 85, 63], [36, 85, 86], [90, 36, 85], [90, 36, 86], [36, 85, 39], [36, 86, 39], [90, 36, 39], [59, 85, 63], [59, 85, 86], [90, 59, 85], [90, 59, 86], [85, 86, 63], [90, 85, 63], [90, 86, 63], [67, 85, 86], [76, 85, 86], [90, 85, 86], [85, 86, 39], [90, 85, 39], [24, 85, 86], [24, 90, 85], [85, 53, 86], [90, 85, 53], [90, 86, 39], [24, 90, 86], [90, 53, 86]]
k= 4 [[34, 36, 85, 86], [34, 90, 36, 85], [34, 36, 90, 86], [34, 85, 36, 90], [34, 59, 85, 86], [90, 34, 59, 85], [34, 59, 36, 85], [34, 59, 90, 86], [34, 59, 36, 86], [34, 59, 85, 90], [34, 85, 86, 63], [34, 90, 85, 63], [34, 90, 86, 63], [34, 85, 90, 63], [34, 67, 85, 86], [34, 76, 85, 86], [34, 90, 85, 86], [34, 85, 90, 86], [34, 85, 90, 36], [34, 36, 85, 39], [34, 36, 86, 39], [34, 85, 86, 39], [34, 90, 85, 39], [34, 90, 86, 39], [34, 85, 90, 39], [24, 34, 85, 86], [24, 34, 90, 85], [24, 34, 90, 86], [24, 34, 85, 90], [34, 53, 85, 86], [90, 34, 53, 85], [34, 90, 53, 86], [34, 85, 53, 86], [34, 53, 85, 90], [34, 53, 90, 86], [59, 36, 85, 86], [90, 59, 36, 85], [90, 36, 85, 86], [36, 85, 86, 39], [90, 36, 85, 39], [90, 59, 85, 86], [90, 85, 86, 63], [90, 85, 86, 39], [24, 90, 85, 86], [90, 53, 85, 86]]
k= 5 [[34, 36, 85, 86, 90], [34, 85, 86, 90, 59], [34, 36, 85, 86, 59], [34, 85, 86, 90, 63], [34, 36, 39, 85, 86], [34, 39, 85, 86, 90], [34, 85, 86, 24, 90], [34, 85, 53, 86, 90], [34, 53, 85, 86, 90]]
Set of items: [34, 36, 85, 86, 90] support:0.772
Set of items: [34, 85, 86, 90, 59] support:0.559
Set of items: [34, 36, 85, 86, 59] support:0.521
Set of items: [34, 85, 86, 90, 63] support:0.530
Set of items: [34, 36, 39, 85, 86] support:0.535
Set of items: [34, 39, 85, 86, 90] support:0.589
Set of items: [34, 85, 86, 24, 90] support:0.518
Set of items: [34, 85, 53, 86, 90] support:0.567
Set of items: [34, 53, 85, 86, 90] support:0.567
以上为全部内容。