首先癌症有不同的发展期
不同发展期的癌症有不同的症型
这些症型都处于不同的严重程度。
因此收集病人样本930条,最终挖掘目标是：
找出这些严重程度不同的症型和癌症发展阶段（我们知道癌症有初期，中期，晚期等）之间的关系（也就是找到症状与疾病之间的关联规则）
数据来自书籍《Python数据分析与挖掘实战》的第8章
书籍《Python数据分析与挖掘实战》中使用了Apriori算法来得到结果，敝文尝试使用另外一种关联规则挖掘算法：FP-Growth 来获得最终的挖掘结果。
敝文的前半部分代码来自《Python数据分析与挖掘实战》，
后半部分代码通过把挖掘算法Apriori修改为FP-Growth而得，
最终实验结果表明：FP-Growth可以获得与Apriori一样的挖掘效果，并且提升了挖掘速度。
挖掘总流程：
一（对应代码1）、
每人的6种症型（症状名字的代号是A～F，分别对应下面data.xls中的各种症型）都处于不同的严重程度，
每种症型按照严重程度高低用具体数字赋值，然后根据症型的严重程度不度，聚类为四个区间，并根据某病人的某种症状的严重程度对应的数值，归类到四个区间中的某一个区间（下面表格中的区间由后面代码中的Kmeans聚类后得到）。各个症型区间表格如下：
表格用法举例：
例如一个人的肝气郁结症型比较严重，我们可以给他A3或者A4，如果比较轻，我们给他A1或者A2
同样的，症型之间我们认为地位是等同的，一个症型就是一个6维矢量中的其中一维，6个症型构成了一个6维矢量，其实也就是数据挖掘算法眼中的集合。
由于每个病人都有六种症状的不同区间（例如A1,A2,A3,A4），因此每个病人都可以由一个6维矢量（矢量中的每一维代表一种症型）来表示，例如（A1,B3,C2,D2,E2,F4）
这些表格中的各个区间的边界数值都是怎么来的呢？由代码1运行时，通过Kmeans聚类而得
代码1：
# -*- coding: utf-8 -*-
'''
聚类离散化，最后的result的格式为：
1 2 3 4
A 0 0.178698 0.257724 0.351843
An 240 356.000000 281.000000 53.000000
即(0, 0.178698]有240个，(0.178698, 0.257724]有356个，依此类推。
'''
from __future__ import print_function
import pandas as pd
from sklearn.cluster import KMeans # 导入K均值聚类算法
datafile = '../data/data.xls' #待聚类的数据文件
processedfile = '../tmp/data_processed.xls' # 数据处理后文件
typelabel = {u'肝气郁结证型系数': 'A', u'热毒蕴结证型系数': 'B', u'冲任失调证型系数': 'C', u'气血两虚证型系数': 'D', u'脾胃虚弱证型系数': 'E', u'肝肾阴虚证型系数': 'F'}
k = 4 # 需要进行的聚类类别数
# 读取数据并进行聚类分析
data = pd.read_excel(datafile) # 读取数据
keys = list(typelabel.keys())
result = pd.DataFrame()
if __name__ == '__main__': # 判断是否主窗口运行，如果是将代码保存为.py后运行，则需要这句，如果直接复制到命令窗口运行，则不需要这句。
for i in range(len(keys)):#每轮循环处理一个症状的聚类和数量统计
print("i=", i)
# 调用k-means算法，进行聚类离散化
print(u'正在进行“%s”的聚类...' % keys[i])
kmodel = KMeans(n_clusters=k, n_jobs=4) # n_jobs是并行数，一般等于CPU数较好
kmodel.fit(data[[keys[i]]].as_matrix()) # 训练模型
r1 = pd.DataFrame(kmodel.cluster_centers_, columns=[typelabel[keys[i]]]) # 聚类中心
print("r1=",r1)
print("label=", typelabel[keys[i]])
#
#
#
r2 = pd.Series(kmodel.labels_).value_counts() # 分类统计
print("r2=",r2)
print("-------------------------------------")
r2 = pd.DataFrame(r2, columns=[typelabel[keys[i]] + 'number']) # 转为DataFrame，记录各个类别的数目
print("r2=", r2)#这一段用来统计聚类中各个类别的数量，并且写入一列中，并改改名字
#
#
#
#
r=pd.concat([r1, r2], axis=1)
print("排序前r=",r)
r=r.sort_values(typelabel[keys[i]])
print("排序后r=",r)
r.index = [1, 2, 3, 4]#index指的是列标签，typelabel[keys[i]]指的是行标签
#
#
#
#
print("----------------------------------------------------")
print("计算均值前的表格r=",r)
r[typelabel[keys[i]]] = pd.rolling_mean(r[typelabel[keys[i]]], 2) # rolling_mean()用来计算相邻2列的均值，以此作为边界点。
r[typelabel[keys[i]]][1] = 0.0 # 这两句代码将原来的聚类中心改为边界点.这里的用法类似于C语言中的r[i][j]
print("计算均值后的表格r=",r)
result = result.append(r.T)#旋转
print("----------------------------------------------------")
#
#
#
#
print("result=",result)
result = result.sort_index() # 以Index排序，即以A,B,C,D,E,F顺序排,A代表症状的名称，BCDE各自代表该症状的严重程度
result.to_excel(processedfile)
运行代码1后得到聚类处理后的文件为data_processed.xls（各种症型的数据统计），得到上面的表格9~14，同时也得到统计结果：
输出的结果是：
| 1 | 2 | 3 | 4 | |
| A | 0 | 0.178697589 | 0.2577240643 | 0.3518431814 |
| Anumber | 240 | 356 | 281 | 53 |
| B | 0 | 0.1507662277 | 0.2966313131 | 0.4897045019 |
| Bnumber | 325 | 396 | 180 | 29 |
| C | 0 | 0.2021487293 | 0.2890611377 | 0.4235365546 |
| Cnumber | 297 | 394 | 204 | 35 |
| D | 0 | 0.1765046363 | 0.2571199525 | 0.3661899988 |
| Dnumber | 309 | 371 | 211 | 39 |
| E | 0 | 0.1526978022 | 0.2575413223 | 0.3748694473 |
| Enumber | 273 | 319 | 242 | 96 |
| F | 0 | 0.1791433755 | 0.2613863944 | 0.354642668 |
| Fnumber | 200 | 237 | 265 | 228 |
结合输入文件data.xls
由于得到了每种症状的各种严重程度的量化区间， 所以把data.xls中的各个参数（例如A症状）转化为A1～A4
转化办法如下：
data.xls中，对每行的首单元进行按行排序，由于data.xls中第一列的各项数据处于data_processed.xls的四个区间中，
分别改为A1~A4,从而得到下一份代码需要的文件data.txt文件（ 可从百度网盘下载： https://pan.baidu.com/s/1miZgHMo ），
举个例子说明data.txt中的的每行数据是什么意思：
例如，data.xls第一行的数据是：
0.175,0.682,0.171,0.535,0.419,0.447
由于Kmeans得到了“症型对应的数值的聚类中心”，得到的结果其实就是上文中的表8-9,8-10,8-11,8-12,8-13,8-14,
根据症型的数值查表，得到由于0.175在区间(0,0.179]中，靠近聚类中心0.179，所以0.175替换为A2，同样地:
0.682查表8-10，归类为B1
0.171查表8-11，归类为C3
0.535查表8-12，归类为D3
0.419查表8-13，归类为E1
0.447查表8-14，归类为F1
以此类推，把6维向量（0.175,0.682,0.171,0.535,0.419,0.447）转化成（A2，B1，C3，D3，E1，F1，H1）
用代码批量转化即可，转化结果为data.txt，可从百度网盘下载：
https://pan.baidu.com/s/1miZgHMo
二（对应代码2）、这里使用FP-Growth算法来进行挖掘，找出不同严重程度的症状和mammary cancer
代码2：
#-*- encoding:utf-8 -*-
import sys
reload(sys)
import pyfpgrowth
sys.setdefaultencoding('utf-8')
path='./data.txt'
def read_data(path):
data_lists=[]
f = open(path) # 返回一个文件对象
line = f.readline() # 调用文件的 readline()方法
for line in open(path):
# print type(line)
print line # 后面跟 ',' 将忽略换行符
# print(line, end = '') # 在 Python 3中使用
lists_cell=line.replace('\n','').split(",")#去掉回车键，以逗号作为分隔符
data_lists.append(lists_cell)
line = f.readline()
f.close()
return data_lists
transactions=read_data(path)
# print "transactions=",transactions
print len(transactions)
print type(transactions)
patterns = pyfpgrowth.find_frequent_patterns(transactions, 56)#2 这个位置的参数代表支持度,也就是说出现数量56次以上
rules = pyfpgrowth.generate_association_rules(patterns, 0.87)#0.7 这个位置的参数代表置信度
print "FPGrowth关联规则挖掘结果："
for k,v in rules.items():
print k
print v
print"-"*20
代码运行结果：
FPGrowth关联规则挖掘结果：
('A3', 'F4')
(('H4',), 0.8795180722891566)
--------------------
('C3', 'F4')
(('H4',), 0.875)
--------------------
[Finished in 0.1s]
与书上P192结果进行比较，可以发现，虽然书上用的是Apriori，此处使用的是FPGrowth，挖掘得到的关联规则是一致的：
最后解释下实验结果：
顺便解释下基本概念：
下面的support指的是，‘并’的关系
Support（A=>B）=P(AUB)
置信度指的是：条件概率
Confidence（A=>B）=P(B|A)
那么FpGrowth的挖掘结果可以解释为：
当肝气郁结症型系数位于A3区间，并且 肝肾阴虚症型系数位于F4区间，在这两个前提的条件下，处于mammary cancer H4阶段的概率为0.8795180722891566
在总样本中，这种情况发生的概率是0.078495，代码中有个数字是56,设置办法是：930*0.078495=56
扫一扫
5976
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
