第5节--决策树算法

最新推荐文章于 2023-12-26 01:00:55 发布
原创 最新推荐文章于 2023-12-26 01:00:55 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#决策树 #判定树 #ID3 #熵 #机器学习算法

这篇博客介绍了决策树算法，包括其在机器学习中的重要性、基本构造算法、熵和信息增益的概念，以及ID3算法的详细步骤。还讨论了如何处理连续性变量，决策树的剪枝策略，以及其优缺点。

0、机器学习中算法的评价

  • 准确率
  • 速度
  • 强壮性
  • 可规模性
  • 可解释性

1、什么是决策树（decision tree）

决策树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。

这里写图片描述

2、它是机器学习中分类方法中一个重要的算法

3、构造决策树的基本算法

例子：“什么样的人买电脑”

下图为数据集：
这里写图片描述

下图为依据数据集建立的决策树：
这里写图片描述

4、熵（entropy）

1948年，香农提出了 ”信息熵(entropy)“的概念。

一条信息的信息量大小和它的不确定性有直接的关系。

要搞清楚一件非常非常不确定的事情，或是我们一无所知的事情，需要了解大量信息。

信息量的度量就等于不确定性的多少。

example：猜世界杯冠军，假如一无所知，猜多少次？（二分法）
每个队夺冠的几率

最低0.47元/天 解锁文章
监督算法大比拼之BP、SVM、adaboost非线性多分类实验
我爱智能
08-26 2万+
写在之前：前些文章曾经细数过从决策树、贝叶斯算法等一些简单的算法到神经网络(BP)、支持向量机（SVM）、adaboost等一些较为复杂的机器学习算法（对其中感兴趣的朋友可以往前的博客看看），各种算法各有优缺点，基本上都能处理线性与非线性样本集，然通观这些算法来看，个人感觉对于数据（无论线性还是非线性）的分类上来说，里面比较好的当数BP、SVM、adaboost元算法这三种了，由于前面在介绍相应算法
建模基础教学：分类算法 --- 决策树
dc_sinor的博客
06-10 3266
我们在买苹果的时候可以通过苹果的颜色、硬度来判断它的好坏，再决定是否买这个苹果。那么我们也许可以基于之前买苹果的经验做出这样一个分析：某人不太会挑苹果，所以纯粹是随机写的几条数据，假设上述几条就是我们挑苹果的真理。那么此时如果我们拿到了一个苹果，属性是（红色，硬，香），怎么判断呢？通常是一个一个属性顺序判断，先看颜色，有0、1、2三条经验符合，第二个硬，剩下0、1符合，再看香，第0条经验符合，这时候看第0条的结论是好苹果，那手里这个就是好苹果。通过对经验数据进行属性的比对来获取经验数据的结论，从而获取该判断
机器学习系列：（五）决策树——非线性回归与分类
风雪夜归子
06-24 1万+
决策树——非线性回归与分类 前面几章，我们介绍的模型都是广义线性模型，基本方法都是通过联接方程构建解释变量与若干响应变量的关联关系。我们用多元线性回归解决回归问题，逻辑回归解决分类问题。本章我们要讨论一种简单的非线性模型，用来解决回归与分类问题，称为决策树（decision tree）。首先，我们将用决策树做一个广告屏蔽器，可以将网页中的广告内容屏蔽掉。之后，我们
非线性分类-决策树算法实现（scikit-learn）
敲代码的乔帮主
12-04 1222
1、python 本课程的机器学习的算法都是基于python语言实现的，所以你需要有一定的python语言基础。 2、python机器学习的库：scikit-learn 特性： 1）简单高效的数据挖掘和机器学习分析 2）对所有用户开放，根据不同需求高度可重用性 3）基于Numpy, SciPy和matplotlib 4）开源，商用级别：获得 BSD许可 覆盖问题领域：...
非线性分类-决策树（离散值、连续值问题数选择）
敲代码的乔帮主
10-11 2752
1.写在前面 最近机器学习课上学了决策树相关知识，对于我之前的理解又加深了一步，故再次总结学习。我之前看的是麦子学院关于决策树的讲解，还有代码实现，当时也做了笔记。有兴趣的可以可以看一下。 2.非线性问题 对于分类问题，如果是可以找出一条直线分开说明是线性可分，其他我们一般称为非线性可分。对于线性不可分数据，采用非线性决策的方法。如图左侧为线性可分，右侧为线性不可分。 2.1 线性扩展...
机器学习：非线性SVM分类器(原理+python实现)
Docpark
03-05 6381
看这篇文章的前提是已经熟知了SVM在线性可分情况下的分类原理，这篇文章的重点是在线性不可分情况下，该如何利用SVM实现分类。 一 线性不可分与SVM的目标 简单来讲，线性不可分的含义为：不能通过用一条直线或一个平面将数据集分隔开来，比如数据集是下图这样： 由左图可知，我们是无法利用直线来将平面上的数据点进行分类，但是将这些数据投放点到空间时，我们可以用一个平面来实现对数据点的分类。在上述分类的过...
第五章-一起看决策树如何做出决策？
Cecilia
09-25 860
在前面我们学习了KNN是一种基本的分类和回归方法。今天我们继续来学习另一个也能进行分类和回归的方法——决策树（Decision Tree）。那么对此，决策树到底是如何做出决策的呢？请接下来往下看—— 思维导图（内容概览） 衡量标准 对于一个统计学习方法，我们需要从模型+决策+算法逐步入手。但是在认识模型之前，特征的选取又是显得特别重要，在决策树法中，存在一些比较重要的概念，即选取特征的标准。 ...
scikit-learn决策树算法笔记总结
python收藏家的博客
04-12 908
决策树
第6节--决策树算法实现（scikit-learn）
忧郁一休
10-22 3733
1、python本课程的机器学习的算法都是基于python语言实现的，所以你需要有一定的python语言基础，可以参考彭亮在麦子学院讲授的“Python语言编程基础”。2、python机器学习的库：scikit-learn特性： 简单高效的数据挖掘和机器学习分析 对所有用户开放，根据不同需求高度可重用性 基于Numpy, SciPy和matplotlib 开源，商用级别：获得 BSD许可覆盖
势函数法 （一种确定性的非线性分类方法）
王尚权 qq:2515162716
12-25 2661
势函数的目的 用势函数的概念来确定判别函数和划分类别界面。 基本思想 1.假设要划分属于两种类别ω1和ω2的模式样本，这些样本可看成是分布在n维模式空间中的点xkx_kxk​。 2.把属于ω1的点比拟为某种能源点，在点上，电位达到峰值。 3. 随着与该点距离的增大，电位分布迅速减小，即把样本xkx_kxk​附近空间x点上的电位分布，看成是一个势函数K(x,xk)K(x, x_k)K(x,xk​)...
机器学习 (第4章 非线性分类)
komjay的博客
10-31 919
1.显然地，我们之前学习的线性分类法不可能将所有问题进行分类，而实际上，有许多问题是有明显的非线性的决策面进行分类，如下图：2.于是乎，提出非线性分类方法，按思想原理，可分为两种：线性拓展的方法实际上并不对原判别函数的参数进行变动，而是将输入x进行一定的变换，比如二次方化，幂函数化。而我们主要学习非线性思想的几种方法，且这几种方法并不是都是统一的思想原理。
决策树算法及python实现
热门推荐
小小何先生的学习之旅
08-05 2万+
下文只是对决策树的一个简要介绍，详细介绍：经典机器学习系列之【决策树详解】 1.什么是决策树 / 判定树（Decision Tree）? 决策树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶端是跟结点。 举个例子：我们用决策树来计算一下小明是否会去游泳，如上图所示，我们首先需要去窗外看一...
模式识别学习笔记（十六）--非线性分类器
凌桑的自我修养--You are the Eternity
05-31 5593
前面的学习中，我们学习了有关线性分类器的相关知识，但是要知道，很多情况下我们并不能保证类别间的分类面是线性的（线性是最简单的情况），而且许多复杂问题中，可能采用非线性分类器更适合问题的解决；因此接下来开始，继续学习有关非线性分类器的东西，必要时可以跟前面线性分类器进行一个总体的比较，帮助加深印象。 常用的非线性分类器主要有两大类：基于判别函数的和非基于判别函数的； 基于设计判别函数的非线性分类
2.5 程序示例--非线性决策边界-机器学习笔记-斯坦福吴恩达教授
赵继超的笔记
03-20 1133
程序示例–非线性决策边界 我们首先对数据进行了多项式拟合，再分别使用 λ=0,λ=1,λ=100λ=0,λ=1,λ=100λ=0,λ=1,λ=100 的批量梯度下降法（sgd）完成了训练，获得了非线性决策边界： # coding: utf-8 # logical_regression/test_non_linear_boundry.py import numpy as np import lo...
机器学习之决策树
Zhuoning Guo's Blog
11-13 406
哈工大《机器学习》期末复习 决策树的表示、构造（衡量属性）和评价，欠拟合、过拟合
正规化逻辑回归-非线性决策边界（python3版本）
云梦泽
05-05 2596
现有芯片制造厂需对一批芯片进行质量检查。制造厂对芯片进行两个不同的性能测试：microchip_test_1、microchip_test_2，那么，产品经理如何通过这两个测试数据去判断芯片的质量。通过正规化的逻辑回归模型（Regularized logistic regression）可以完成此任务。 导入所需的库 import numpy as np import pandas a...
决策树
小童的博客
08-03 249
机器学习中分类和预测算法的评估 准确率、速度、强壮性、可规模性、可解释性 什么是决策树/判定树（decision tree）? 判定树是一个类似流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布，数的最顶层是根结点。 构造决策树的基本算法 熵（entropy）的概念 1984年，香农提出了“信息熵”的概念，一条...
快速测量电子体温计方案
szxcwk的博客
07-06 741
传统水银体温计，测量体温时时间长，且水银温度计易损坏，存在不安全的风险。而电子体温计其优势在于安全，环保，并且精度高。势必将逐步替代水银体温计。 　　 　　热敏电阻(Thermistor)的广泛应用为温度量测方法开启了新方向。目前，我们只需根据Thermistor不同温度对应不同电阻值这一特性，即可以通过测量电阻值实现温度量测。以下是电子体温计方案规格详情： 　　 　　电子体温计方案简述： 　　 　　工作电压：DC2.6V-3.6V，就是安装一个纽扣电池就可以用了。 　　 　　测试范围：0~100，不过可以
非线性推理与决策：理论与实践
最新发布
AI天才研究院
12-26 844
1.背景介绍 非线性推理与决策是一种在复杂系统中进行决策和预测的方法，它主要关注系统之间的相互作用和非线性关系。随着数据量的增加，计算能力的提高以及人工智能技术的发展，非线性推理与决策的应用范围逐渐扩大，为各个领域提供了新的思路和方法。 本文将从以下几个方面进行阐述： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未来发展趋势与挑...
Java语言实现决策树ID3算法详解
在本节中，我们将详细介绍如何使用Java语言实现著名的决策树算法ID3。ID3（Iterative Dichotomiser 3）算法由Ross Quinlan在1986年提出，主要用于机器学习领域中的分类问题。它通过选择最优特征来进行树形结构的构建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值