目录
一、背景和目标
- 借助患者的病理信息，挖掘患者的症状于中医证型之间的关联关系。
- 对截断治疗提供依据，挖掘潜性证素。
二、方法步骤
- 问卷调查，收集整理数据。
- 对数据进行预处理，包括数据清洗、属性规约、数据变换，形成建模数据。
- 对预处理后的建模数据，采用“关联规则算法”，调整模型输入参数，获取各中医证素于乳腺癌TNM分期之间的关系。
- 结合实际业务，对模型结果进行分析，且将模型结果应用到实际业务中，最后输出关联规则结果。
三、过程
3.1 数据获取
- 拟定调查问卷并形成原始指标表。
- 定义纳入标准与排除标准。
- 将收集回来的问卷整理成原始数据。
3.2 数据预处理
3.21 数据清洗
根据“问卷有效性条件”（纳入标准、排除标准）筛选后，将有效问卷整理成原始数据。
3.22 属性规约
为了更为有效地进行挖掘，将冗余属性和与挖掘无关的属性删除。最后选择其中6种证型得分TNM分期的属性值构成数据集。
3.23 数据变换
（1）属性构造
为了更好的反映证素分布的特征，采用证型系数代替具体的单证型得分。
公式：证型系数=该证型得分/该证型总分
处理后数据形式如下：
（2）数据离散化
因为Apriori关联规则算法无法处理连续型数值变量，为了将原始数据格式转换成合适的建模格式，需要对数据进行离散化。这里采用聚类算法对各个证型系数进行离散化处理，将每个属性聚成4类。
#-*- coding: utf-8 -*-
'''
聚类离散化，最后的result的格式为：
1 2 3 4
A 0 0.178698 0.257724 0.351843
An 240 356.000000 281.000000 53.000000
即(0, 0.178698]有240个，(0.178698, 0.257724]有356个，依此类推。
'''
from __future__ import print_function
import pandas as pd
from sklearn.cluster import KMeans #导入K均值聚类算法
datafile = '.../data/data.xls' #待聚类的数据文件
processedfile = '.../tmp/data_processed.xls' #数据处理后文件
typelabel ={u'肝气郁结证型系数':'A', u'热毒蕴结证型系数':'B', u'冲任失调证型系数':'C', u'气血两虚证型系数':'D', u'脾胃虚弱证型系数':'E', u'肝肾阴虚证型系数':'F'}
k = 4 #需要进行的聚类类别数
#读取数据并进行聚类分析
data = pd.read_excel(datafile) #读取数据
keys = list(typelabel.keys())
result = pd.DataFrame()
if __name__ == '__main__': #判断是否主窗口运行，如果是将代码保存为.py后运行，则需要这句，如果直接复制到命令窗口运行，则不需要这句。
for i in range(len(keys)):
#调用k-means算法，进行聚类离散化
print(u'正在进行“%s”的聚类...' % keys[i])
kmodel = KMeans(n_clusters = k, n_jobs = 4) #n_jobs是并行数，一般等于CPU数较好
kmodel.fit(data[[keys[i]]].as_matrix()) #训练模型
r1 = pd.DataFrame(kmodel.cluster_centers_, columns = [typelabel[keys[i]]]) #聚类中心
r2 = pd.Series(kmodel.labels_).value_counts() #分类统计
r2 = pd.DataFrame(r2, columns = [typelabel[keys[i]]+'n']) #转为DataFrame，记录各个类别的数目
r = pd.concat([r1, r2], axis = 1).sort_values(typelabel[keys[i]]) #匹配聚类中心和类别数目
r.index = [1, 2, 3, 4]
r[typelabel[keys[i]]] = r[typelabel[keys[i]]].rolling(2).mean() #df.rolling(2).mean()用来计算相邻2列的均值，以此作为边界点。
r[typelabel[keys[i]]][1] = 0.0 #这两句代码将原来的聚类中心改为边界点。
result = result.append(r.T)
result = result.sort_index() #以Index排序，即以A,B,C,D,E,F顺序排
result.to_excel(processedfile)
分类临界值情况：
离散化后的数据格式如下：
3.3 模型构建
3.31 关联规则模型
（1）Python的流行库中都没有自带关联规则函数，因此编写如下Apriori关联规则的函数（该函数依赖于Pandas库）。
#-*- coding: utf-8 -*-
from __future__ import print_function
import pandas as pd
#自定义连接函数，用于实现L_{k-1}到C_k的连接
def connect_string(x, ms):
x = list(map(lambda i:sorted(i.split(ms)), x))
l = len(x[0])
r = []
for i in range(len(x)):
for j in range(i,len(x)):
if x[i][:l-1] == x[j][:l-1] and x[i][l-1] != x[j][l-1]:
r.append(x[i][:l-1]+sorted([x[j][l-1],x[i][l-1]]))
return r
#寻找关联规则的函数
def find_rule(d, support, confidence, ms = u'--'):
result = pd.DataFrame(index=['support', 'confidence']) #定义输出结果
support_series = 1.0*d.sum()/len(d) #支持度序列
column = list(support_series[support_series > support].index) #初步根据支持度筛选
k = 0
while len(column) > 1:
k = k+1
print(u'\n正在进行第%s次搜索...' %k)
column = connect_string(column, ms)
print(u'数目：%s...' %len(column))
sf = lambda i: d[i].prod(axis=1, numeric_only = True) #新一批支持度的计算函数
#创建连接数据，这一步耗时、耗内存最严重。当数据集较大时，可以考虑并行运算优化。
d_2 = pd.DataFrame(list(map(sf,column)), index = [ms.join(i) for i in column]).T
support_series_2 = 1.0*d_2[[ms.join(i) for i in column]].sum()/len(d) #计算连接后的支持度
column = list(support_series_2[support_series_2 > support].index) #新一轮支持度筛选
support_series = support_series.append(support_series_2)
column2 = []
for i in column: #遍历可能的推理，如{A,B,C}究竟是A+B-->C还是B+C-->A还是C+A-->B？
i = i.split(ms)
for j in range(len(i)):
column2.append(i[:j]+i[j+1:]+i[j:j+1])
cofidence_series = pd.Series(index=[ms.join(i) for i in column2]) #定义置信度序列
for i in column2: #计算置信度序列
cofidence_series[ms.join(i)] = support_series[ms.join(sorted(i))]/support_series[ms.join(i[:len(i)-1])]
for i in cofidence_series[cofidence_series > confidence].index: #置信度筛选
result[i] = 0.0
result[i]['confidence'] = cofidence_series[i]
result[i]['support'] = support_series[ms.join(sorted(i.split(ms)))]
result = result.T.sort_values(['confidence','support'], ascending = False) #结果整理，输出
print(u'\n结果为：')
print(result)
return result（2）Apriori关联规则建模
目标是探索乳腺癌患者TNM分期与中医证型系数之间的关系，这里采用关联规则算法，挖掘他们之间的关系。
#-*- coding: utf-8 -*-
from __future__ import print_function
import pandas as pd
from apriori import * #导入自行编写的apriori函数
import time #导入时间库用来计算用时
inputfile = '.../data/apriori.txt' #输入事务集文件
data = pd.read_csv(inputfile, header=None, dtype = object)
start = time.clock() #计时开始
print(u'\n转换原始数据至0-1矩阵...')
ct = lambda x : pd.Series(1, index = x[pd.notnull(x)]) #转换0-1矩阵的过渡函数
b = map(ct, data.as_matrix()) #用map方式执行
data = pd.DataFrame(b).fillna(0) #实现矩阵转换，空值用0填充
end = time.clock() #计时结束
print(u'\n转换完毕，用时：%0.2f秒' %(end-start))
del b #删除中间变量b，节省内存
support = 0.06 #最小支持度
confidence = 0.75 #最小置信度
ms = '---' #连接符，默认'--'，用来区分不同元素，如A--B。需要保证原始表格中不含有该字符
start = time.clock() #计时开始
print(u'\n开始搜索关联规则...')
find_rule(data, support, confidence, ms)
end = time.clock() #计时结束
print(u'\n搜索完成，用时：%0.2f秒' %(end-start))（3）运行结果
转换原始数据至0-1矩阵...
__main__:6: DeprecationWarning: time.clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time.perf_counter or time.process_time instead
__main__:14: DeprecationWarning: time.clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time.perf_counter or time.process_time instead
转换完毕，用时：0.77秒
开始搜索关联规则...
正在进行第1次搜索...
数目：276...
正在进行第2次搜索...
数目：947...
正在进行第3次搜索...
数目：41...
结果为：
support confidence
A3---F4---H4 0.078495 0.879518
C3---F4---H4 0.075269 0.875000
B2---F4---H4 0.062366 0.794521
C2---E3---D2 0.092473 0.754386
D2---F3---H4---A2 0.062366 0.753247
搜索完成，用时：3.06秒
__main__:17: DeprecationWarning: time.clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time.perf_counter or time.process_time instead
3.32 模型分析
根据上述运行结果，得到5个关联规则，
- A3, F4 => H4
- C3, F4 => H4
- B2, F4 => H4
- C2, E3 => D2
- D2, F3, H4 => A2
但并非所有关联规则都有意义，我们只关注以为H为关联规则结果的规则（上述结果中的3个）。
得到如下结论：
- A3, F4 => H4，支持度7.85%，置信度87.96%，说明当 证型系数 出现A3, F4的情况时，TNM分期诊断为H4的可能性是87.96%，而这种情况在数据中出现的概率是7.85%。
- C3, F4 => H4 ，支持度7.53%，置信度87.5%，说明当 证型系数 出现C3, F4的情况时，TNM分期诊断为H4的可能性是87.5%，而这种情况在数据中出现的概率是7.53%。
- B2, F4 => H4，支持度6.24%，置信度79.45%，说明当 证型系数 出现A3, F4的情况时，TNM分期诊断为H4的可能性是79.45%，而这种情况在数据中出现的概率是6.24%。
四、模型应用
模型结果表明，TNM分期为H4的乳腺癌患者的证型主要为肝肾阴虚证、热毒蕴结证、肝气郁结证、冲任失调证。其中肝肾阴虚证和肝气郁结证的临床表现较为突出，其置信度达到87.96%，且肝肾阴虚证临床表现都存在。故当H4期患者表现出肝肾阴虚证时，应当滋补肝肾，阶段热毒蕴结证的出现，同时患者多有肝气郁结证的表现时，应当及时疏导患者抑郁、焦虑的不良情绪。
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
