使用apriori算法进行关联分析

　　关联分析：从大规模数据集中寻找物品之间的隐含关系。目标包括两项：发现频繁项集和发现关联规则

　　主要问题在于，寻找物品的不同组合是一项十分耗时的任务，所需的计算代价很高，蛮力搜索方法并不能解决这个问题。

一、关联分析

　　｛尿布与啤酒｝

　　Apriori算法

　　　　优点：易编码实现

　　　　缺点：在大数据上可能较慢

　　　　适用数据类型：数值型或者标称型数据

　　频繁项集(frequent item sets)是指那些经常出现在一起的物品集合

　　　　一个项集的支持度被定义为数据集中包含该项集的记录所占的比例。

　　　　可信度或置信度是针对一条诸如｛尿布｝－>｛葡萄酒｝的关联规则来定义的

　　支持度和可信度是用来量化关联分析是否成功的方法。假设想找到支持度大于0.8的所有项集，应该如何去做？一个方法是生成一个物品所有可能组合的清单，计算量大

　　Apriori算法

二、Apriori原理

　　我们对那些经常在一起被购买的商品非常感兴趣

　　一般过程：

　　　　收集数据：使用任意方法

　　　　准备数据：任何数据类型都可以，因为我们只保存集合

　　　　分析数据：使用任意方法

　　　　训练算法：使用Apriori算法来找到频繁项集

　　　　测试算法：不需要测试过程

　　　　使用算法：用于发现频繁项集以及物品之间的关联规则

　　Apriori原理是说如果某个项集是频繁的，那么它的所有子集也是频繁的。这个原理直观上并没有什么帮助，但是如果反过来看就有用了，也就是说如果一个项集是非频繁集，那么它的所有超集也是非频繁的

　　Apriori算法是发现频繁项集的一种方法。Apriori算法的两个输入参数分别是最小支持度和数据集

import numpy as np 

def loadDataSet():
	return [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]]

def createC1(dataSet):
	C1 = []
	for transaction in dataSet:
		for item in transaction:
			if not [item] in C1:
				C1.append([item])
	C1.sort()
	return map(frozenset, C1)

def scanD(D, Ck, minSupport):
	ssCnt = {}
	for tid in D:
		for can in Ck:
			if can.issubset(tid):
				if not ssCnt.has_key(can): ssCnt[can]=1
			else: ssCnt[can] += 1
	numItems = float(len(D)) 
	retList = [] #
	supportData = {}
	for key in ssCnt:
		support = ssCnt[key]/numItems
		if support >= minSupport:
			retList.insert(0, key)
		supportData[key] = support #
	return retList, supportData

dataSet=loadDataSet()
print(dataSet)
C1=createC1(dataSet)
print(C1)
D=map(set,dataSet)
print(D)
L1,suppoData0=scanD(D,C1,0.5)
print(L1)

def aprioriGen(Lk, k):
	retList = []
	lenLk = len(Lk)
	for i in range(lenLk):
		for j in range(i+1, lenLk):
			L1 = list(Lk[i])[:k-2]; L2 = list(Lk[j])[:k-2]
			L1.sort(); L2.sort()
			if L1==L2: #if first k-2 elements are equal
				retList.append(Lk[i] | Lk[j])
	return retList

def apriori(dataSet, minSupport=0.5):
	C1 = createC1(dataSet)
	D = map(set, dataSet)
	L1, supportData = scanD(D, C1, minSupport)
	L = [L1]
	k = 2
	while (len(L[k-2]) > 0):
		Ck = aprioriGen(L[k-2], k)
		Lk, supK = scanD(D, Ck, minSupport) #scan DB to get Lk
		supportData.update(supK)
		L.append(Lk)
		k += 1
	return L, supportData

四、从频繁项集中挖掘关联规则

　　上一节介绍如何使用Apriori算法来发现频繁项集，现在需要解决的问题是如何找出关联规则

　　要找到关联规则，我们首先从一个频繁项集开始。如果有一个频繁项集｛豆奶，莴笋｝，那么就可能有一条关联规则“豆奶－>莴笋”。

　　那一条规则P->H的可信度定义为support(P | H) / support(P)。

def generateRules(L, supportData, minConf=0.7):
	bigRuleList = []
	for i in range(1, len(L)):
		for freqSet in L[i]:
			H1 = [frozenset([item]) for item in freqSet]
			if (i > 1):
				rulesFromConseq(freqSet, H1, supportData, bigRuleList, minConf)
			else:
				calcConf(freqSet, H1, supportData, bigRuleList, minConf)
	return bigRuleList

def calcConf(freqSet, H, supportData, br1, minConf=0.7):
	prunedH = []
	for conseq in H:
		conf = supportData[freqSet]/supportData[freqSet-conseq]
		if conf >= minConf:
			print freqSet-conseq, '-->', conseq, 'conf:', conf
			br1.append(conseq)
	return prunedH

def rulesFromConseq(freqSet, H, supportData, br1, minConf=0.7):
	m = len(H[0])
	if (len(freqSet) > (m+1)):
		Hmp1 = aprioriGen(H, m+1)
		Hmp1 = calcConf(freqSet, Hmp1, supportData, br1, minConf)
		if (len(Hmp1) > 1):
			rulesFromConseq(freqSet, Hmp1, supportData, br1, minConf)

五、示例：发现国会投票中的模式

　　数据集：加州大学埃文分校的机器学习数据集合中有一个自１９８４年起的国会投票记录的数据集:http://archive.ics.uci.edu/ml/datasets/Congressional+Voting+Records

　　想尝试一些更新的数据，目前有不少组织致力于将政府数据公开化，其中的一个组织是智能投票工程(Project Vote Smart, http://www.votesmart.org)，它提供了一个公共的API，