Spark Mllib 下的决策树二元分类 —— 网站分类(2)

最新推荐文章于 2024-04-27 09:50:34 发布
最新推荐文章于 2024-04-27 09:50:34 发布
阅读量603 收藏 4
点赞数 4
分类专栏： 推荐算法 文章标签： 机器学习 大数据 python pyspark 分类算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42359956/article/details/105417692
版权

模型评估

在上一章节的末尾我们提到过模型的评估，那时只是简单的求了一下百分比，那种方式只能粗略的反映模型的准确率，针对二元分类算法，我们有AUC（Area under the Curve of ROC）即ROC曲线下的面积来评估模型的好坏在计算AUC之前应该先理解下面的几个概念：

/真假
阳TPFP
阴TNFN
  • 真阳性 True Positives ( TP ): 预测为 1 ,实际为 1.
  • 假阳性 False Positives ( FP ): 预测为 1 ,实际为 0.
  • 真阴性 True Negatives ( TN ): 预测为 0 ,实际为 0.
  • 假阴性 True Negatives ( FN ): 预测为 0 ,实际为 1.
  • TPR:在所有实际为 1 的样本中被正确判断为 1 的比例.
    TPR = TP/( TP + FN )
  • FPR: 在所有实际为 0 的样本中被错误判断为 1 的比例.
    FPR = FP/( FP + TN)

有了 TPR 和 FPR就可以绘制ROC曲线了,如下图所示:

在这里插入图片描述
ROC曲线与XY轴正方向围成的面积即为AUC的值

1、训练模型

model = DecisionTree.trainClassifier(train_data,numClasses=2,categoricalFeaturesInfo={},impurity="entropy",maxDepth=5,maxBins=5)

2、将预测结果和真实值压缩在一起

score = model.predict(validation_data.map(lambda p:p.features))
score_and_labels = score.zip(validation_data.map(lambda p:p.label))
score_and_labels.take(5)

[(0.0, 1.0), (0.0, 0.0), (1.0, 0.0), (1.0, 0.0), (0.0, 1.0)]

3、导入评估二元分类器模型的包

from pyspark.mllib.evaluation import BinaryClassificationMetrics

# 计算模型的AUC值(ROC曲线囊括的面积)
metrics = BinaryClassificationMetrics(score_and_labels)
metrics.areaUnderROC

0.6199946682707425

4、集成二元分类的AUC值计算

def evaluationBinaryClassification(model,validation_data):
    # 将验证数据的features传入通过模型进行评估,然后得到预测结果
    score = model.predict(validation_data.map(lambda p:p.features))
    # 构造为 (预测值,真实值) 的集合
    score_and_labels = score.zip(validation_data.map(lambda p:p.label))
    # 计算出评估矩阵
    metrics = BinaryClassificationMetrics(score_and_labels)
    # 返回矩阵的ROC曲线面积也就是AUC的值
    return metrics.areaUnderROC

evaluationBinaryClassification(model,validation_data)

0.6769676269676269

5、影响模型准确率的因素

因为训练模型时我们可以改变的参数有三个,impurity(分支方式),maxDepth(树的最大深度),maxBins(每个节点的最大分支数),如果简单的将三个变量进行排列组合加枚举的方式列进行训练模型而找最大值的话,肯定准确是准确,但是太耗费资源了,所以这里采用控制变量的方法(进行单一变量原则)进行测试,分别探寻每个参数的最优解;

5.1 impurity 参数影响

5.1.2 定义训练评估模型
import time

# 训练并评估模型
def evaluationTrainModel(train_data,validation_data,impurity,maxDepth,maxBins):
    # 记录开始时间
    start_time = time.time()
    # 根据传入参数训练模型
    model = DecisionTree.trainClassifier(train_data,numClasses=2,categoricalFeaturesInfo={},impurity=impurity,maxDepth=maxDepth,maxBins=maxBins)
    # 记录模型的训练时间
    duration = time.time() - start_time
    # 根据训练出的模型使用验证数据算出AUC值
    AUC = evaluationBinaryClassification(model,validation_data)
    return (model,duration,AUC,impurity,maxDepth,maxBins)

evaluationTrainModel(train_data,validation_data,"entropy",10,10)

(DecisionTreeModel classifier of depth 10 with 591 nodes,
 0.641793966293335,
 0.6459731773005045,
 'entropy',
 10,
 10)
5.1.3创建模型评估矩阵
maxBinsList = [10]
maxDepthList = [10]
impurityList = ["gini","entropy"]
# 排列组合参数进行构造评估矩阵
metrics = [
        evaluationTrainModel(train_data,validation_data,impurity,maxDepth,maxBins)
        for maxBins in maxBinsList
        for maxDepth in maxDepthList
        for impurity in impurityList]
metrics

[(DecisionTreeModel classifier of depth 10 with 699 nodes,
  0.7073895931243896,
  0.6269453519453518,
  'gini',
  10,
  10),
 (DecisionTreeModel classifier of depth 10 with 673 nodes,
  0.7021915912628174,
  0.63500891000891,
  'entropy',
  10,
  10)]
5.1.4 将矩阵转换为DataFrame
import pandas as pd
# 转换为pandans的DataFrame
df = pd.DataFrame(data=metrics,index=impurityList,columns=["Model","Duration","AUC","Impurity","maxDepth","maxBins"])
df
ModelDurationAUCImpuritymaxDepthmaxBins
giniDecisionTreeModel classifier of depth 10 with ...0.7073900.626945gini1010
entropyDecisionTreeModel classifier of depth 10 with ...0.7021920.635009entropy1010
5.1.5 绘制图像

关于绘制图像和pyplot的一些常用方法可以参照博主的另一篇文章:
Pyplot 常见绘图方法

from matplotlib import pyplot as plt
# 绘制时间曲线
plt.plot(df["Duration"],ls="-",lw=2,c="r",label="Duration",marker="o")
# 绘制模型AUC分数柱
plt.bar(df["Impurity"],df["AUC"],ls="-",lw=2,color="c",label="AUC")
# 显示图例
plt.legend()
# 设置x轴方向的范围
plt.xlim(-1,2)
# 设置 y轴方向范围
plt.ylim(0.6,0.75)
# 绘制网格
plt.grid(ls=":",lw=1,c="gray")
# impurity = 'entropy'

在这里插入图片描述
通过图像我们可以很明显的看出entropy (熵) 用来作为分支的依据,无论是从模型训练时间上,和模型的准确率都比 “gini” 要好一些,所以分支方法就可以选定为"entropy"了

5.2 maxDepth参数影响

maxBinsList = [10]
maxDepthList = [i for i in range(1,21)]
impurityList = ["entropy"]
metrics = [
        evaluationTrainModel(train_data,validation_data,impurity,maxDepth,maxBins)
        for maxBins in maxBinsList
        for maxDepth in maxDepthList
        for impurity in impurityList]
df = pd.DataFrame(data=metrics,index=maxDepthList,columns=["Model","Duration","AUC","Impurity","maxDepth","maxBins"])

# 绘制时间曲线
plt.plot(df["Duration"],ls="-",lw=2,c="r",label="Duration")
# 绘制模型AUC分数柱
plt.bar(df["maxDepth"],df["AUC"],ls="-",lw=2,color="c",label="AUC",tick_label=df["maxDepth"])
# 显示图例
plt.legend()
# 设置x轴方向的范围
plt.xlim(0,21)
# 设置 y轴方向范围
plt.ylim(0.4,0.7)
# 绘制网格
plt.grid(ls=":",lw=1,c="gray")
# maxDepth = 8

在这里插入图片描述
从图中可以看到模型训练时间随树的深度增加而增加,但是我们发现深度在4~10时,模型训练时间有一段低谷时期,而且碰巧的是AUC的值也在这一个区间内达到了最大,所以我们就选择8作为maxDepth的最优解

5.3 maxBins参数影响

maxBinsList = [i for i in range(2,21)]
maxDepthList = [8]
impurityList = ["entropy"]
metrics = [
        evaluationTrainModel(train_data,validation_data,impurity,maxDepth,maxBins)
        for maxBins in maxBinsList
        for maxDepth in maxDepthList
        for impurity in impurityList]
df = pd.DataFrame(data=metrics,index=maxBinsList,columns=["Model","Duration","AUC","Impurity","maxDepth","maxBins"])

# 绘制时间曲线
plt.plot(df["Duration"],ls="-",lw=2,c="r",label="Duration")
# 绘制模型AUC分数柱
plt.bar(df["maxBins"],df["AUC"],ls="-",lw=2,color="c",label="AUC",tick_label=df["maxBins"])
# 显示图例
plt.legend()
# 设置x轴方向的范围
plt.xlim(0,21)
# 设置 y轴方向范围
plt.ylim(0.6,0.7)
# 绘制网格
plt.grid(ls=":",lw=1,c="gray")
# maxBins = 7

在这里插入图片描述
从图中可以看到,基本上模型的训练时间和每个节点的最大分支数没太大的关系,单个模型的训练时间基本都在 0.6s 以下,所以我们仅需找AUC值最大的点即可,那就是maxBins = 7 时

6、模型最终结果

6.1 导入测试文件的数据

def loadTestData(sc):
    raw_data_and_header = sc.textFile("file:/home/zh123/.jupyter/workspace/stumbleupon/test.tsv")
    # 文件头部
    header_data = raw_data_and_header.first()
    # 取头
    raw_non_header_data = raw_data_and_header.filter(lambda l:l != header_data)
    # 去引号
    raw_non_quot_data = raw_non_header_data.map(lambda s:s.replace("\"",""))
    # 最终测试文件数据
    data = raw_non_quot_data.map(lambda l:l.split("\t"))
    # 初始化类型映射字典
    categories_dict = data.map(lambda fields:fields[3]).distinct().zipWithIndex().collectAsMap()
    # 这里是因为我前面训练过程中没有保存那时的类型映射字典,所以这里就补了两位不然会报错
    categories_dict.update({"t1":-1,"t2":-1})
    
    label_point_rdd = data.map(lambda fields:(
                        fields[0],
                        extract_features(fields,categories_dict,len(fields))
    ))
    return label_point_rdd

test_file_data = loadTestData(sc)
print(test_file_data.take(1))
print(test_file_data.count())

[('http://www.lynnskitchenadventures.com/2009/04/homemade-enchilada-sauce.html', array([0.00000000e+00, 0.00000000e+00, 0.00000000e+00, 0.00000000e+00,
       0.00000000e+00, 0.00000000e+00, 0.00000000e+00, 0.00000000e+00,
       0.00000000e+00, 1.00000000e+00, 0.00000000e+00, 0.00000000e+00,
       0.00000000e+00, 0.00000000e+00, 4.43906000e-01, 2.55813954e+00,
       3.89705882e-01, 2.57352941e-01, 4.41176470e-02, 2.20588240e-02,
       4.89572471e-01, 0.00000000e+00, 0.00000000e+00, 6.71428570e-02,
       0.00000000e+00, 2.30285215e-01, 1.99438202e-01, 1.00000000e+00,
       1.00000000e+00, 1.50000000e+01, 0.00000000e+00, 5.64300000e+03,
       1.36000000e+02, 3.00000000e+00, 2.42647059e-01, 8.05970150e-02]))]
3171

6.2 加载模型

# 使用最终确认的的参数进行训练模型
model = evaluationTrainModel(train_data,validation_data,impurity="entropy",maxDepth=8,maxBins=7)[0]

6.3 随机选择10组数据进行预测

# 从测试文件集中随机抽取10个数据
for f in test_file_data.randomSplit([10,3171-10])[0].collect():
    # 打印网站名称和预测结果
    print(f[0],bool(model.predict(f[1])))

http://culinarycory.com/2008/12/30/pear-apple-crumb-pie/ True
http://mobile.seriouseats.com/2011/03/ramen-hacks-30-easy-ways-to-upgrade-your-instant-noodles-japanese-what-to-do-with-ramen.html False
http://blogs.babble.com/family-kitchen/2011/10/03/halloween-hauntingly-beautiful-candied-apples/ True
http://www.ivillage.com/paprika-potato-frittata-0/3-r-60973 True
http://www.goodlifeeats.com/2011/06/chocolate-covered-brownie-ice-cream-sandwich-recipe.html False
http://redux.com/stream/item/2071196/Two-Women-Fight-for-a-Parking-Spot-Then-Brilliance-Happens False
http://news.boloji.com/2008/10/25084.htm False
http://azoovo.com/a-corporate-web-design/ True
http://funstuffcafe.com/need-to-want-less False
http://www.insidershealth.com/article/nestle_cookie_dough_recall/3601 False
http://bakingbites.com/category/recipes/bar-cookies/ True

上面即是我们预测的结果,格式为(url, 是否为长期推荐网页),我们可以人为的点击网页链接进行查看网页是否和后面预测的结果一样属于 非/可以 长期推荐的网页;

最后网页分类的项目到此就完结了 撒花!
博客中有问题的地方欢迎大佬指出,当然还有疑问的小伙伴也可以私聊或者评论区留言哟!
最重要还是　点赞！评论！收藏！三连哦，谢谢．

尼克不可
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
binary_classification_metrics:可视化和其他代码，用于探索二进制分类指标
03-06
binary_classification_metrics 可视化和其他代码，用于探索二进制分类指标。
使用Python对拉勾网站的职位分析
da_ldv86的博客
04-12 1497
文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 分析目的 3Wxuai 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt...
（二）常见的分类评价指标及代码实现与应用
anshuai_aw1的博客
03-03 5556
在上一篇《（一）常见的回归评价指标及代码应用》中我们介绍了评价回归性能的指标。 sklearn的官方文档《 Model evaluation: quantifying the quality of predictions》中，对于二分类，多分类和多标签问题，有非常详细的指标介绍和实现。 本篇博客我们只介绍常见的分类评价指标，以及它们的代码实现与应用。 文章目录一、二分类指标（Binary Clas...
【大创_社区划分】——PageRank算法的解析与Python实现
weixin_34293246的博客
08-12 1229
一、什么是pagerank PageRank的Page可是认为是网页，表示网页排名，也可以认为是Larry Page(google 产品经理)，因为他是这个算法的发明者之一，还是google CEO（^_^）。PageRank算法计算每一个网页的PageRank值，然后根据这个值的大小对网页的重要性进行排序。它的思想是模拟一个悠闲的上网者，上网者首先随...
spark应用----统计分析电商网站的用户行为数据
m0_55685698的博客
06-27 726
本项目的数据是采集电商网站的用户行为数据，主要包含用户的4种行为：搜索、点击、下单和支付。需求说明：品类是指产品的分类，大型电商网站品类分多级，咱们的项目中品类只有一级，不同的公司可能对热门的定义不一样。我们按照每个品类的点击、下单、支付的量来统计热门品类。编号字段名称字段类型字段含义1dateString用户点击行为的日期2user_idLong用户的ID3session_idStringSession的ID4page_idLong某个页面的ID5String。
PySpark机器学习-分类与回归实例
mike_jun的博客
06-07 6727
1. 二元分类 预测网页是 暂时性的， 还是 长青的 （ephemeral, evergreen） 》读取文件，创建DataFrame 格式数据 from pyspark.context import SparkContext from pyspark.sql.session import SparkSession # sc = SparkContext("local") # s...
基于决策树的网页分类（Python+Spark实现）
quintind的专栏
04-15 2256
1、网页分类问题 网页分类是一个经典的问题，例如：雅虎网站早期就是通过人工对网站进行分类以便于其他用户查找资料。网页分类的角度有多种，如：a、按网页类型（新闻、财经、体育、科技……）；b、按网页内容： 暂时性的（ephemeral）：文章只是在某一段时间内对读者有意义，过了这段时间就没有意义了，如：当日股市涨跌新闻； 长青的（evergreen）：读者长久会对这些文章感兴趣，如：理财观念、育...
二分类模型-分布式SPARK效果评估实现代码+混淆矩阵
泰格数据
05-15 1488
最近在做一个平台级的项目，为了保证分布式的可扩展性，评估最终用sparkmlib进行模型的评估，sparkmlib里面封装好了二分类、 多分类、聚类的通用的评估指标，通用指标实现起来都比较简单。 关键点： val metrics=new BinaryClassificationMetrics(scoreAndLable,100) 获取到预测列和标签列，并转化为RDD[double,double]。 BinaryClassificationMetrics第二个参数解释：这个一个分箱参数，可能你...
【Spark】5、决策树二元分类
Alexander的博客
07-17 1883
本节使用决策树二元分类分析StumbleUpon数据集，预测网页是暂时性的（ephemeral）或是长青的（evergreen），并调校参数找出最佳参数组合，提高预测准确度。 StumbleUpon Evergreen大数据问题场景分析 StumbleUpon是一个个性化的搜索引擎，会按用户的兴趣和网页评分等记录推荐给你感兴趣的网页，有些网页是暂时性的，比如新闻，这些文章可能只是在某一段时间会对读...
AUC---Binary classifier metric
xyqzki的专栏
09-09 2154
ref: http://meroa.com/auc-awk-src/ http://alexkong.net/2013/06/introduction-to-auc-and-roc/ROC曲线分类器的评价与分类器本身同样重要。把分类器的性能映射到ROC(Receiver Operating Characteristic)空间，是一种常用的评价分类器的方法。ROC曲线横轴是FPR（False Pos
Spark Mllib 下的决策树二元分类 —— 网站分类(1)
尼克不可的博客
04-07 1022
前面一篇文章说了一下基于spark下的协同过滤算法的实现,这篇文章就来讲一下决策树二元分类吧, 这个算法呢主要运用于产品的分类,就好比你要给某人推荐一本书,首先你自己要知道这些书的类型吧,其次你还需要知道你要推荐的这个人他喜欢什么类型,只有书籍的类型和人的喜好匹配上了,这样才能达到推荐的目的;正是在这种场景下就需要我们进行对产品的分类,当然我们人可以很容易的就判断某本书籍是属于什么类型的,但是对于...
Spark MLlib决策树
01-24
个人留档，有需者自取
如何使用SparkMLlib构建分类模型?
02-25
1.预测互联网用户对在线广告的点击概率（二分类问题）；2.检测欺诈（二分类问题，欺诈或者不欺诈）；3.预测拖欠贷款（二分类问题）；4.对图片、音频、视频进行分类（多分类问题）；...决策树模型　MLlib构建分类
机器学习(XgBoost）预测顶和底
量化风云
04-23 1111
之前的文章中，我们对中证1000指数进行了顶和底的标注。这一篇我们将利用这份标注数据，实现机器学习预测顶和底，并探讨一些机器学习的原理。我们选取的特征非常简单–上影线和WR（William’s R）的一个变种。他们的结论是，根据这两类指标的变种得到的综合因子，在2009到2020年4月，以全A为样本，进行5组分层多空测试，得到，可以说具有非常明显的信号意义。
GAN的loss为nan的解决办法（成功）
qq_44899247的博客
04-23 284
解决GAN风格迁移时loss为NaN的问题
机器学习｜决策树｜Gini指数和熵的区别｜简单示例
公众号：快乐变态屋 漂亮大男孩的罗德岛
04-23 572
在决策树模型中，Gini指数和熵（Entropy）是用来计算节点纯度的两种方法。它们都是评估分裂点的好坏，以选择最佳的属性来分裂。
机器学习学习 - 数据预处理
IT深耕十余载，大道之简
04-26 303
清洗数据的目的是为了确保数据的准确性和完整性，从而避免对机器学习模型的训练造成干扰。通过合理的预处理步骤，可以确保数据的质量和有效性，从而提高机器学习模型的性能和准确性。数据预处理是机器学习项目中不可或缺的一环，它涉及到数据的清洗、格式化、归一化、特征提取等一系列操作，以便为后续的模型训练和分析提供高质量的数据集。同时，还需要注意数据的编码方式，确保数据在传输和存储过程中的一致性。数据可视化是将数据以图形或图像的形式展示出来的过程，有助于更全面地理解数据的分布、关系和趋势。
【机器学习】机器学习学习笔记 - 监督学习 - 多项式回归决策树回归 - 03
最新发布
一只慵懒的加菲喵~~
04-27 320
【机器学习】机器学习学习笔记 - 监督学习 - 多项式回归\决策树回归 - 03
sparkmllib胃癌分类案例
10-09
然后，我们使用Spark MLlib中的分类算法，例如逻辑回归、决策树或支持向量机等，对这些特征进行训练和学习，以预测患者是否患有胃癌。 在训练模型之前，我们需要对数据进行预处理和特征工程。例如，将类别型特征...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值