详解python实现FP-TREE进行关联规则挖掘(带有FP树显示功能)附源代码下载(2)

详解python实现FP-TREE进行关联规则挖掘(带有FP树显示功能)附源代码下载(2)

fptree进行数据挖掘的第一步是生成fptree,具体的生成过程大家在网上和书上都能找到详尽的解释,这里我就不再赘述了。

不过大家可能会产生一个问题:为什么要对每一条样本记录按照其中特征项支持度从大到小排序一下,才能生成fp树呢?

请看下图:


这张图是将我的每一条样本记录按照其中特征项支持度从小到大排序后生成的FP树,是不是很臃肿?

所以从大到小的排序目的就在于给FP树瘦身,降低挖掘时的运算量和FP树占用的内存空间。


在源代码中,生成fp树由两个类负责,一个treebuilder(根据样本直接生成树),另一个是cpbtreebuilider(根据条件模式基来生成树)

class treebuilder:
    def __init__(self,items,facts):
        self.items=items #特征项
        self.facts=facts #样本记录列表
        self.itemcount=self.getitemcount() #{特征项:支持度}
        self.itemtable=self.getitemtable() #头表
        self.tree=self.growtree() #树


树的类型定义在fpnode 类中,可以调用其中的show方法显示树(前提是PIL库安装)

示例:

import sample
import fptreemining
import treebuilder

#显示树
root=treebuilder.treebuilder(items=sample.items,facts=sample.sample)
root.tree.show()


转载请注明出处:http://blog.csdn.net/rav009/article/details/8976243


  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
好的,关于Python实现连续变量最优分箱详解,我可以为您提供一些基础的思路和代码实现。该方法是基于CART算法实现的,具体如下: 首先,我们需要导入相关的,包括numpy、pandas和sklearn等: ```python import numpy as np import pandas as pd from sklearn.tree import DecisionTreeRegressor ``` 然后,我们需要定义一个函数来执行最优分箱操作,该函数的输入参数包括待分箱的数据、目标变量、最小样本数、最大分箱数、以及是否需要返回分箱结果等: ```python def binning_continuous_var(data, target, min_samples_leaf=50, max_bins=10, return_bins=False): # 将数据和目标变量拼接 data = pd.concat([data, target], axis=1) # 获取连续变量的列名 cont_cols = data.select_dtypes(include=[np.number]).columns.tolist() # 循环处理每个连续变量 for col in cont_cols: # 对该变量进行分箱操作 binned_col, bins = bin_continuous_var(data, col, target, min_samples_leaf, max_bins) # 将分箱结果更新到数据集中 data[col] = binned_col # 如果需要返回分箱结果,则返回数据集和分箱边界值 if return_bins: return data, bins # 否则,仅返回数据集 else: return data ``` 接下来,我们需要定义一个子函数来执行单个连续变量的分箱操作,该函数的输入参数包括待分箱的数据、连续变量的列名、目标变量、最小样本数和最大分箱数等: ```python def bin_continuous_var(data, col, target, min_samples_leaf, max_bins): # 获取该变量的取值范围 data_range = data[col].max() - data[col].min() # 如果取值范围为0,则直接返回原始变量和一个空的分箱边界值列表 if data_range == 0: return data[col], [] # 否则,使用CART算法进行分箱操作 else: # 初始化决策模型 tree_model = DecisionTreeRegressor( criterion='mse', min_samples_leaf=min_samples_leaf, max_leaf_nodes=max_bins, random_state=42 ) # 拟合决策模型 tree_model.fit(data[col].to_frame(), target) # 获取决策的叶节点数目 n_leaves = tree_model.get_n_leaves() # 如果叶节点数目大于等于最大分箱数,则需要重新设置最大叶节点数目并重新拟合模型 while n_leaves >= max_bins: max_bins -= 1 tree_model = DecisionTreeRegressor( criterion='mse', min_samples_leaf=min_samples_leaf, max_leaf_nodes=max_bins, random_state=42 ) tree_model.fit(data[col].to_frame(), target) n_leaves = tree_model.get_n_leaves() # 获取叶节点的取值范围 leaves_range = [(tree_model.tree_.threshold[i - 1], tree_model.tree_.threshold[i]) for i in np.where(tree_model.tree_.children_left == -1)[0]] # 初始化分箱边界值列表,将最小值和最大值作为边界值的起点和终点 bins = [data[col].min()] + [i[1] for i in leaves_range[:-1]] + [data[col].max()] # 计算每个取值所对应的分箱编号 binned_col = np.digitize(data[col], bins) # 将分箱编号转换为分箱中心点的取值 binned_col = pd.Series(binned_col, index=data.index) binned_col = binned_col.map(lambda x: np.round(np.mean(data[target.name][binned_col == x]), 4)) # 返回分箱结果和分箱边界值列表 return binned_col, bins ``` 最后,我们可以使用上述代码实现对连续变量的最优分箱操作,例如: ```python # 生成测试数据 data = pd.DataFrame({ 'col1': np.random.rand(1000), 'col2': np.random.rand(1000), 'col3': np.random.rand(1000), 'target': np.random.randint(0, 2, 1000) }) # 执行最优分箱操作 data_binned = binning_continuous_var(data.drop('target', axis=1), data['target'], min_samples_leaf=50, max_bins=10, return_bins=False) ``` 以上就是Python实现连续变量最优分箱的基础思路和代码实现,希望可以对您有所帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱知菜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值