python亲和度_Python数据挖掘学习——亲和性分析

最近了解了一些Python数据挖掘方面的内容，主要学习了《Python数据挖掘入门与实践》这本书的内容，在这里对书中的内容以及我遇到的一些问题进行整理。

数据挖掘旨在让计算机根据已有的数据作出决策。

数据挖掘的第一步一般是创建数据集，数据集主要包括：

(1)样本：表示真实世界中的物体

(2)特征：描述数据集中样本

学习的第一步接触的就是亲和性分析，亲和性分析是通过样本个体之间的相似度确定它们之间关系的亲疏。

这个例子中采用商品购买的一个数据集，商品共有：面包，牛奶，奶酪，苹果，香蕉这几种。

这里每个特征都有且只可能有0或者1两个值——表示是否购买该商品，而非购买的数量。

在得到样品及特征后，我们要找出规则，比如“购买了X，那么可能会购买Y”

找出规则后还需要判断其优劣，这里涉及到两个指标——支持度和置信度。

代码如下：

"""

《Python数据挖掘入门与实践》

亲和性分析

数据集每一列代表：是否购买——面包、牛奶、奶酪、苹果、香蕉

支持度support——规则应验的次数

置信度confidence——规则应验的比例

"""

import numpy as np

from collections import defaultdict #默认字典——如果没有对应的键，返回默认值0

from operator import itemgetter #针对字典进行排序

dataset_filename = r'F:\Python\pycharm\DataAnalysis_test\data\affinity_dataset.txt'

X = np.loadtxt(dataset_filename)

# print(X[:15])#显示前15行数据

features = ["bread", "milk", "cheese", "apple", "banana"]#特征列表

"""查看有多少人购买了苹果"""

# num_apple_buy = 0

# for sample in X:

# if sample[3] == 1:

# num_apple_buy +=1

# print("{0} people bought Apples".format(num_apple_buy))

"""构建规则字典"""

valid_rules = defaultdict(int)#规则应验

invalid_rules = defaultdict(int)#规则无效

num_occurances = defaultdict(int)#符合A条件(如果。。。)的所有情况

n_features = 5#共有几项特征

for sample in X:

for premise in range(n_features):

if sample[premise] == 0:

continue

else:

num_occurances[premise] += 1#符合A条件的情况+1

for conclusion in range(n_features):

if premise == conclusion:

continue

else:

if sample[conclusion] == 1:

valid_rules[(premise, conclusion)] +=1 #规则应验

else:

invalid_rules[(premise, conclusion)] +=1 #规则无效

#计算每条规则的置信度(confidence规则的准确率如何)和支持度(support规则应验的次数)

support = valid_rules

confidence = defaultdict(float)

for (premise, conclusion) in valid_rules.keys():

rule = (premise, conclusion)

confidence[rule] = valid_rules[rule] / num_occurances[premise]

"""定义输出每条规则及其置信度和支持度的函数"""

def print_rule(premise, conclusion, support, confidence, features):

premise_name = features[premise]

conclusion_name = features[conclusion]

print("rule: if a person buys {0} they will also buy {1}".format(premise_name, conclusion_name))

print("置信度confidence: {0:.3f}".format(confidence[(premise, conclusion)]))

print("支持度support:{0}".format(support[(premise, conclusion)]))

"""排序找出最佳规则"""

def best_rule():

sorted_support = sorted(support.items(),

key=itemgetter(1), #以字典的值的次序进行排序

reverse=True)#降序

sorted_confidence = sorted(confidence.items(), key=itemgetter(1), reverse=True)

for index in range(5):#输出排序最高的五个规则

print("RULE #{0}".format(index + 1))

premise, conclusion = sorted_support[index][0]

print_rule(premise, conclusion, support, confidence, features)

if __name__ == '__main__':

premise = 2

conclusion = 4

# print_rule(premise, conclusion, support, confidence, features)

best_rule()

# print(valid_rules)

输出结果为规则的评价结果：

RULE #1

rule: if a person buys cheese they will also buy banana

置信度confidence: 0.659

支持度support:27

RULE #2

rule: if a person buys banana they will also buy cheese

置信度confidence: 0.458

支持度support:27

RULE #3

rule: if a person buys apple they will also buy cheese

置信度confidence: 0.694

支持度support:25

RULE #4

rule: if a person buys cheese they will also buy apple

置信度confidence: 0.610

支持度support:25

RULE #5

rule: if a person buys banana they will also buy apple

置信度confidence: 0.356

支持度support:21

这个例子中的数据集下载链接：商品购买数据集下载