基于ML-DecisionTree的多标签分类算法

最新推荐文章于 2024-08-20 11:16:22 发布
最新推荐文章于 2024-08-20 11:16:22 发布
阅读量6.2k 收藏 30
点赞数 2
文章标签： 多标签 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liumy601/article/details/79909824
版权
本文介绍了ML-DT算法，这是一种应用于多标签分类的方法，利用决策树的信息增益来筛选特征。算法通过计算信息增益选择最佳特征进行样本划分，递归构建决策树直至满足停止条件。对于未知样本，通过遍历决策树得到各标签的置信概率，概率大于0.5的标签被视为样本的预测标签。
摘要由CSDN通过智能技术生成

     之前有一篇文章介绍了ML-KNN多标签分类算法，这里再介绍另一个算法ML-DT，算法思想比较简单，借鉴了决策树根据信息增益筛选特征生成分类器的思想，多标签场景下，信息增益表示的是该特征对所有标签的鉴别能力。

     算法大致思想如下：首先计算每个特征的信息增益IG，挑选IG最大的特征来划分样本为左右子集，递归下去，直到满足停止条件（例如叶子节点中子集样本数量为100）结束，对未知样本，沿根节点遍历一条路径到叶子节点，计算叶子节点样本子集中每个标签为0和1的概率，概率超过0.5的标签定为未知样本标签。

      先贴下伪代码，然后结合伪代码介绍算法细节：

      

1、第5行计算特征l在每个划分点的信息增益，并挑选最大的作为分支节点划分样本集



其中，MLEnt代表信息熵，

最低0.47元/天 解锁文章
liumy601
关注
ML之DT：DT(决策树)算法的简介、代码定义、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-14 1万+
ML之DT：DT(决策树)算法的简介、代码定义、案例应用之详细攻略目录树模型1、A brief history of forests2、树模型的复杂度3、树模型的目标函数4、树的分数：分数越小的树越好！5、树模型的伪代码的实现6、建树—稀疏特征DT算法的简介0、DT模型的优缺点1、动态观察DT的生成过程2、DT的过拟合现3、DT的损失函数DT算法sklearn代码定义及其案例应用1、DecisionTreeClassifier分类代码及其案例应用2、DecisionTreeRegressor分类代码及其案例
多标签(multi-label)数据问题常用的分类器或者分类策略
07-03
目前有很多关于多标签的学习算法，依据解决问题的角度，这些算法可以分为两大类：一是基于问题转化（Problem Transformation）的方法，二是基于算法适应的方法和算法适应方法（Algorithm Adaptation）。基于问题转化的多标记分类是转化问题数据，使之适用现有算法；基于算法适应的方法是指针对某一特定的算法进行扩展，从而能够直接处理多标记数据，改进算法，适应数据。
经典ML之决策树 Decision Tree
Rocket,Qian的博客
08-14 416
1.决策树 Decision Tree 1.1 简介 决策树是一种基本的分类与回归方法。决策树的衍生算法有ID3, C4.5和C5.0等。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布，其主要优点是模型具有可读性、分类速度快。决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。 定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node)和有向边（directed edge)组成。结点有两种类型：内部节点（internal node
SKlearn学习笔记——决策树
Stephen
05-30 4768
SKlearn学习笔记——决策树1. 概述1.1 决策树是如何工作的1.2 sklearn中的决策树2. DecisionTreeClassifier2.1 重要参数2.2 重要属性和接口 前言： scikit-learn，又写作sklearn，是一个开源的基于python语言的机器学习工具包。它通过NumPy, SciPy和Matplotlib等python数值计算的库实现高效的算法应用，并且涵盖了几乎所有主流机器学习算法。 以下内容整理自 菜菜的机器学习课堂. sklearn官网链接: 点击这里. 1
决策树（DecisionTree）及python实现（sklearn）
m0_46483236的博客
11-05 1672
决策树是一类常见的机器学习方法， 决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的分而治之策略。
多标签分类怎么做？(Python)
小白学视觉
10-13 1558
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达一、基本介绍首先简单介绍下，多标签分类与多分类、多任务学习的关系：多分类学习（Multi-class）：分类器去划分的类别是多个的，但对于每一个样本只能有一个类别，类别间是互斥的。例如：分类器判断这只动物是猫、狗、猪，每个样本只能有一种类别，就是一个三分类任务。常用的做法是OVR、softmax多分类多标签学习（Multi-la...
DecisionTree.jl:决策树 (CART) 和随机森林算法的 Julia 实现
08-04
决策树.jl 决策树 (CART) 和随机森林算法的 Julia 实现 可通过： - 使用简单的表达式创建复杂的 ML 管道...您可以使用 Julia 的包管理器安装 DecisionTree.jl Pkg . add ( " DecisionTree " ) ScikitLearn.jl API
Spark MLlib模型训练—分类算法 Decision tree classifier
最新发布
2401_84052244的博客
08-20 368
决策树分类器是一种基础且强大的机器学习模型，在 Spark MLlib 中的实现具备处理大规模数据的能力。它以直观、可解释性强、易。
SparkML算法详解(关于DataFrame的API操作)--数据挖掘(Scala与Java版)
06-28
- **随机森林**：基于多个决策树的集成方法。 - **k均值算法**：一种聚类算法。 - **人工神经网络**：模仿人脑神经元结构的模型。 - **线性判别分析**：用于分类的线性方法。 - **AdaBoost算法**：提升弱分类器性能...
ML-Net：通过深度学习彻底改变多标签分类
gongdiwudu的专栏
11-20 2536
多标签分类是一项具有挑战性的机器学习任务，其中输入可以同时属于多个类。传统的多标签分类方法通常依赖于将问题转化为一系列二元分类任务或使用集成方法。然而，深度学习的出现开创了多标签分类的新时代，ML-Net 等模型突破了该领域的可能性界限。
从底层实现决策树并分类实战
m0_63642362的博客
07-16 273
从底层实现决策树并分类实战，不使用任何第三方库，学习决策树底层原理，以及在信道编码视角下对ID3的算法的实现
论文笔记：多标签学习综述（A review on multi-label learning algorithms）
weixin_30437481的博客
07-20 1490
2014 TKDE(IEEE Transactions on Knowledge and Data Engineering) 张敏灵，周志华 简单介绍 传统监督学习主要是单标签学习，而现实生活中目标样本往往比较复杂，具有多个语义，含有多个标签。本综述主要介绍了多标签学习的一些相关内容，包括相关定义，评价指标，8个多标签学习算法，相关的其它任务。 论文大纲 相关定义：学习任务，三种策略 评价指标：...
python logistic 多标签_多分类及多标签分类算法
weixin_39984982的博客
12-10 445
单标签二分类问题单标签二分类算法原理单标签二分类这种问题是我们最常见的算法问题，主要是指label标签的取值只有两种，并且算法中只有一个需要预测的label标签；直白来讲就是每个实例的可能类别只有两种(A or B)；此时的分类算法其实是在构建一个分类线将数据划分为两个类别。常见的算法：Logistic、SVM、KNN、决策树等。Logistic算法原理单标签多分类问题单标签多分类问题其实是指待预...
文本多标签分类python_机器学习：多标签分类的Python之旅
weixin_39555951的博客
12-06 1342
第1部分：多标签分类概述：多标签分类起源于对文本分类问题的调查，其中每个文档可能同时属于多个预定义主题。文本数据的多标签分类是机器学习中一个重要的问题。范例从新闻文章到电子邮件。例如，这可以用于基于其情节的总结来找到电影所属的类型。图1：根据情节汇总查找流派的多标签分类或基于电影海报的流派的多标签分类。(这进入了计算机视觉领域。)图2：多标签分类根据电影海报查找流派多类分类和多标签分类之间的区别在...
周志华团队：深度森林挑战多标签学习，9大数据集超越传统方法
Pysamlam的博客
11-24 2335
来源：arXiv编辑：肖琴2017年，南京大学机器学习与数据挖掘研究所（简称LAMDA 团队）的周志华教授与他的团队，提出了“深度森林”(Deep forest)：一种基...
机器学习实战学习笔记（二）决策树
The wind of freedom blows
10-21 359
PS：该系列数据都可以在图灵社区（点击此链接）中随书下载中下载（如下） 1 决策树的构造 决策树 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。 缺点：可能会产生过度匹配问题。 使用数据类型：数值型和标称型。   创建分支的伪代码函数createBranch()如下： 检测数据集中的每个子项是否属于同一分类： If so...
基于PredictionIO的推荐引擎打造，及大规模多标签分类探索
周红伟讲AI
04-11 2490
 基于PredictionIO的推荐引擎打造，及大规模多标签分类探索       摘要：在2015年3月21日的北京Spark Meetup第六次活动上，尹绪森就如何使用PredictionIO打造一个定制化推荐引擎进行了详细介绍，白刚则分享了新浪在大规模多标签分类上的探索。 在2015年3月21日的北京Spark Meetup第六次活动上，一场基于Spark的机
python多标签分类_如何通过sklearn实现多标签分类？
weixin_39610422的博客
12-08 1665
sklearn支持多类别(Multiclass)分类和多标签(Multilabel)分类：多类别分类：超过两个类别的分类任务。多类别分类假设每个样本属于且仅属于一个标签，类如一个水果可以是苹果或者是桔子但是不能同时属于两者。多标签分类：给每个样本分配一个或多个标签。例如一个新闻可以既属于体育类，也属于文娱类。sklearn的官方文档给出了支持多标签分类的类，包括如下：以决策树举例，给出如下实现过程...
pyspark.sql.utils.IllegalArgumentException: 'requirement failed: DecisionTree requires maxBins (= 32) to be at least as large as the number of values in each categorical feature, but categorical feature 0 has 385 values. Considering remove this and other categorical features with a large number of values, or add more training examples.'怎么改正
06-08
这个错误提示是因为 `DecisionTreeRegressor` 模型的 `maxBins` 参数默认值为 32，而你的数据集中某些类别型特征的取值数量大于 32，因此需要调整 `maxBins` 参数的值。 你可以尝试将 `maxBins` 参数的值设置为较大的值，例如 512，以匹配数据集中较大的类别型特征的取值数量。修改代码如下： ```python from pyspark.ml.regression import DecisionTreeRegressor # 创建 DecisionTreeRegressor 模型 dt = DecisionTreeRegressor(featuresCol="features", labelCol="avgPrice", maxBins=512) # 训练模型 model = dt.fit(trainingData) ``` 另外一种解决方法是删除数据集中的某些类别型特征，或者将它们转换为数值型特征，以减少 `maxBins` 参数的值。例如，可以使用 `StringIndexer` 将类别型特征转换为数值型特征。修改代码如下： ```python from pyspark.ml.feature import StringIndexer # 转换类别型特征 indexers = [StringIndexer(inputCol=col, outputCol=col+"_index") for col in ["proname", "type", "market"]] assembler = VectorAssembler(inputCols=["proname_index", "type_index", "market_index", "maxPrice", "minPrice"], outputCol="features") data = Pipeline(stages=indexers+[assembler]).fit(data).transform(data) # 创建 DecisionTreeRegressor 模型 dt = DecisionTreeRegressor(featuresCol="features", labelCol="avgPrice") # 训练模型 model = dt.fit(trainingData) ``` 需要注意的是，如果你删除了某些类别型特征，可能会影响模型的预测性能。因此，在删除特征之前，你应该对其进行仔细的分析和评估。
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值