Day37 机器学习算法基础 决策树 随机森林 总结1

最新推荐文章于 2024-04-01 14:43:06 发布
最新推荐文章于 2024-04-01 14:43:06 发布
阅读量218 收藏 1
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mh594137514/article/details/112922349
版权

目录

 

决策树概念

决策树信息论基础

信息熵

决策树的分类依据之一：信息增益

决策树划分的常见方式

决策树的api

实例：预测泰坦尼克号乘客信息，目标值其是否能存活survived

复习

导出决策树的分支图

决策树的优缺点

​

随机森林

随机森林api

实例分析泰坦尼克号

随机森林优缺点（比较全面缺点较少）

分类算法部分总结

决策树概念

相当于编程中的if-then结构，其实就是选择（右侧树的结构）

决策树信息论基础

信息是与消除不确定性相联系的（信息是为了消除不确定性）

  • 信息熵

32只球队，二分，只需要猜5次最多，就可以确定

因为32是2的5次方

  • 决策树的分类依据之一：信息增益

 

注：信息增益表示得知特征x的信息使得类Y的信息不确定性减少的程度，举例：得知年龄后对目标值（类别）是否同意贷款，的不确定性减少程度，也就是该项信息对结果的影响程度

此处计算的H(D)为总熵，H(青年)为青年中针对类别项的信息熵

最终分别计算了，年龄、工作、房产、信誉、等信息增益

最低0.47元/天 解锁文章
拽紧哥的腿毛
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
AI人工智能资料 机器学习和深度学习知识 day02-sklearn、knn、朴素贝叶斯、决策树、随机森林 共101页.pptx
10-22
首先，sklearn是一个强大的Python机器学习库，提供了丰富的数据集和各种预处理工具以及多种机器学习算法。在sklearn中，数据集可以分为训练集和测试集，训练集用于构建模型，而测试集则用于评估模型的性能。`sklearn...
机器学习的决策树与随机森林总结
码龙社的博客
11-12 1010
在决策树的结构中，每一个实例都被一条路径或者一条规则所覆盖。通常决策树学习包括三个步骤：特征选择、决策树的生成和决策树的修剪 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理逻辑回归等不能解决的非线性特征数据 缺点：可能产生过度匹配问题 适用数据类型：数值型和标称型 一、决策树的信息论 信息的度量和作用:1948年，香农在他的论文“通信的数学原理”中提到了“信息熵”的概念...
机器学习实验——使用决策树和随机森林对数据分类
weixin_53707859的博客
10-23 3614
机器学习实验
机器学习第3集——随机森林 详解+案例
m0_66470984的博客
10-07 3815
集成学习（ensemble learning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通 过在数据上构建多个模型，集成所有模型的建模结果。
python随机森林特征重要性,python随机森林分类模型
最新发布
P42695665的博客
04-01 673
随机森林是一种有监督学习算法，是以决策树为基学习器的集成学习算法。那什么是有监督学习呢？有监督学习就是把有已知结果的数据集拿去训练，如果训练结果与标准答案的精度足够高就可以使用这个模型去预测或者分类未知结果的数据集python创意小作品代码。简单来说就是你写很多有标准答案的试卷，当你的准确率足够高的时候你就可以去写没有标准答案的试卷了，因为如果你平时都能考全国前三，那你高考就大概率能考到全国前三。有监督学习主要应用于分类和回归。
随机森林模型及案例（Python）
qq_42433311的博客
04-21 4万+
1 集成模型简介 集成学习模型使用一系列弱学习器（也称为基础模型或基模型）进行学习，并将各个弱学习器的结果进行整合，从而获得比单个学习器更好的学习效果。 集成学习模型的常见算法有Bagging算法和Boosting算法两种。 Bagging算法的典型机器学习模型为随机森林模型，而Boosting算法的典型机器学习模型则为AdaBoost、GBDT、XGBoost和LightGBM模型。 1.1 Bagging算法简介 Bagging算法的原理类似投票，每个弱学习器都有一票，最终根据所有弱学习器的投
机器学习，随机森林，共享单车数据集
02-27
在机器学习领域，随机森林是一种广泛应用且效果显著的算法，尤其在分类和回归问题中表现出色。本数据集结合了机器学习与共享单车行业的实际应用场景，提供了丰富的数据供我们进行分析和预测。主要文件"bike_day.csv...
[红日安全]AI安全Day1-机器学习算法在web安全中的应用1
08-08
【红日安全】AI安全Day1-机器学习算法在web安全中的应用1 在Web安全领域，机器学习已经成为一种强大的工具，用于识别和防御各种威胁，如恶意软件、网络钓鱼、DDoS攻击等。本文将深入探讨机器学习的基础概念及其在...
机器学习day1资料.zip
06-06
这个资料包涵盖了多种常用且重要的机器学习算法，包括分类和回归两大类。接下来，我们将详细探讨这些算法及其在Python中的实现。 首先，让我们从分类算法开始。分类算法是机器学习的一个关键领域，其目标是根据输入...
Python与机器学习教程 机器学习算法课程-HTML网页版教程课件 可直接在浏览器运行 从入门到进阶.rar
05-03
监督学习中的常见算法有线性回归、逻辑回归、决策树、随机森林、支持向量机、K近邻算法以及神经网络等。无监督学习则涉及聚类算法，如K-means、DBSCAN等。 4. **Scikit-Learn库**：作为Python中最受欢迎的机器学习...
机器学习中Random Forest 随机森林小结（5步算法，11个优缺点，例子演示解决Kaggle高频竞赛题泰坦尼克沉船）
lindaicoding的博客
08-04 5065
随机森林属于 集成学习 中的 Bagging方法。由多个随机树构成，然后通过投票共同学习特征。 因为生长很深的树容易学习到高度不规则的模式，即overfit，在训练集上具有低bias和高variance的特点。随机森林是平均多个深决策树以降低variance的一种方法，其中，决策树是在一个数据集上的不同子集进行训练的，在最终的模型中通常会大大提高性能。 这有些像解决一道预测何时世界末日的难题，你给一个大学生解决，又给了一个在家里自学的人解决。两个人的解法很大概率是不一样的，你提取两个人解法的优势合起来就
机器学习--随机森林
qq_53086801的博客
08-29 3140
机器学习--随机森林
随机森林
常胜将军的博客
01-22 1560
随机森林是一个包含多个决策树的分类器，是一种集成学习方法（三个臭皮匠赛过诸葛亮）。 1 随机森林原理过程 训练集： N个样本 特征值 目标值 M个特征 随机     两个随机         训练集随机 - N个样本中随机有放回的抽样N个             bootstrap 随机有放回抽样             [1, 2, 3, 4, 5]             新的树的训练集  ...
PIE-engine 教程 ——随机森林监督分类案例（河北安国市为例）
qq_31988139的博客
09-29 2448
这里大家需要注意的是，因为在这里并没有进行影像的计算，而是直接从云端调用已经裁剪和设定好的影像，所以这里并不能更换研究区，如果想要进行研究区的更换，需要自己重写sentinel影像以及NDVI的计算。本次举一个简答的案例，通过对一个县级市进行监督分类采样，然后进行耕地、林地、园地和其它的划分，除此之外，我们还需要掌握随机样本点的采集，混淆矩阵以及精度计算等问题。分类后影像进行平滑去噪处理，这里默认用到的半径为3。进行监督分类，返回结果为分类后的影像。计算采用的单位，默认为pixel。
随机森林算法学习(RandomForest)
热门推荐
Eason的博客
10-21 16万+
随机森林算法学习最近在做kaggle的时候，发现随机森林这个算法在分类问题上效果十分的好，大多数情况下效果远要比svm，log回归，knn等算法效果好。因此想琢磨琢磨这个算法的原理。要学随机森林，首先先简单介绍一下集成学习方法和决策树算法。下文仅对该两种方法做简单介绍（具体学习推荐看统计学习方法的第5章和第8章）。Bagging和Boosting的概念与区别该部分主要学习自：http://www.c
决策树与随机森林
JNYxiaocao的博客
04-24 2480
一、决策树 决策树包括3个步骤： 特征选择 决策树的生成（决策树局部最优） 决策树的剪枝（决策树全局最优） 1.特征选择 特征选择的准则是信息增益或者信息增益比、Gini指数。选取具有分类能力的特征可以提高学习效率。决策树中的信息增益等价于训练数据集中类与特征的互信息。 2.生成（步骤和公式的话，《统计学习方法》讲的很清楚） 决策树学习采用自顶向下的递...
随机森林--简单示例
u010694498的博客
01-20 1万+
随机森林属于模式识别中有监督的分类中的一种方法。它的原理是以决策树为基本分类器的一个集成学习模型，它包含多个由Bagging集成学习技术训练得到的决策树，当输入待分类的样本时，最终的分类结果由决策树的输出结果的众数决定。 一、基本原理列出如下： 从原始数据m*n维数据中有放回的抽取样本容量与原数据相同的数据样本m*n，样本数量为ntree（在R语言中可以指定）；
sklearn分类器算法：决策树与随机森林及案例分析
采菊东篱下，Python满乾坤！
03-11 1万+
分类算法之决策树决策树是一种基本的分类方法，当然也可以用于回归。我们一般只讨论用于分类的决策树。决策树模型呈树形结构。在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合。在决策树的结构中，每一个实例都被一条路径或者一条规则所覆盖。...
随机森林算法前期数据准备的详细步骤！！！（遥感案例）
qq_41828818的博客
03-05 4387
最近在搞一个蓝藻的提取，然后用随机森林方法进行了测试，结果还可以。想着把随机森林方法的过程用文章记录下来，供大家参考！ 一、随机森林算法介绍 1.随机森林的理论介绍（参考其他博客） 二、用随机森林提取蓝藻的过程 1.首先我因为要提取蓝藻，所以将影像上的像素分为两类，一类是蓝藻，另一类就是其他（如果是对别的东西分类或者提取，可以分好多类别）。首先在ENVI中提取兴趣点（蓝藻），形成一个shp文件，其他的类也提取兴趣点，形成兴趣点，形成shp文件。（一般选取一定量的点，不要太少） 2.在arcgis中，一一将s
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值