【机器学习】CART分类决策树+代码实现

最新推荐文章于 2024-05-14 17:05:40 发布

maershii

最新推荐文章于 2024-05-14 17:05:40 发布

阅读量7.1k

点赞数 5

分类专栏：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u013166817/article/details/84635581

版权

1. 基础知识

CART作为二叉决策树，既可以分类，也可以回归。

分类时：基尼指数最小化。

回归时：平方误差最小化。

数据类型：标值型，连续型。连续型分类时采取“二分法”，取中间值进行左右子树的划分。

2. CART分类树

特征A有N个取值，将每个取值作为分界点，将数据D分为两类，然后计算基尼指数Gini(D,A), 选择基尼指数小的特征A的取值。然后对于每个特征在计算基尼指数，最后得到最佳的特征的最佳取值作为分支点。

基尼指数表示数据D的不纯度，基尼指数越小不纯度越小。

$\\Gini(D) = 1- \sum_{k=1}^{K}(\frac{|D^k|}{|D|})^2 \\Gini(D,A) = \frac{|D_1|}{|D|}Gini(D_1) + \frac{|D_2|}{|D|}Gini(D_2)$

3. CART回归树

切分数据时依据的误差函数：总方差最小化。

计算属于该节点的所有样本的y的均值 $\mu$ , 接着计算总方差,N为属于该节点的样本数目：

$\sigma = \sum_{i=1}^{N} \sqrt{(y_i - \mu)^2}$

特征A的某个取值val将数据集分成两个数据集，那么分支后的误差为：

最低0.47元/天解锁文章

关注

5
点赞
踩
41

收藏

觉得还不错? 一键收藏
0
评论
【机器学习】CART分类决策树+代码实现

1. 基础知识CART作为二叉决策树，既可以分类，也可以回归。分类时：基尼指数最小化。回归时：平方误差最小化。数据类型：标值型，连续型。连续型分类时采取“二分法”，取中间值进行左右子树的划分。2. CART分类树特征A有N个取值，将每个取值作为分界点，将数据D分为两类，然后计算基尼指数Gini(D,A), 选择基尼指数小的特征A的取值。然后对于每个特征在计算基尼指数，最后...
复制链接

扫一扫

专栏目录

maershii CSDN认证博客专家 CSDN认证企业博客

码龄11年

39: 原创

18万+: 周排名

42万+: 总排名

13万+: 访问

-: 等级

0: 积分

25: 粉丝

56: 获赞

10: 评论

407: 收藏

私信

关注

热门文章

分类专栏

python 1篇
lintcode 1篇
github 1篇
软件安装与使用 1篇
机器学习 10篇
leetcode 21篇
深度学习 3篇
NLP 2篇

最新评论

【leetcode】输出一个数的所有质数因子
【浅滩】: [code=csharp] #define _CRT_SECURE_NO_WARNINGS 1 #include <stdio.h> int main() { int a, b; b = 2; //输入你要计算的值 scanf("%d", &a); //判断大于1,1没有质因数 while (a>1) { //判断b是否是a的因数，是就进入循环，否就判断下一个自然数 if (a % b == 0) { //将值分解成质数相乘的式子如：12 = 2*2*3 //将确定是因数的值不断循环除尽然后输出 //偶数中只有2是质数，且是所有数中最小的质数 while (a % b == 0) { //循环将确定是因数的值不断除尽 a = a / b; } //输出确定的因数 printf("%d\n", b); } else { //判断不是因数，就跳过判断下一个 b++; } } return 0; } [/code]
【机器学习】朴素贝叶斯基本介绍+代码实现
qq_40902046: 上面的正则表达式写错了吧
【机器学习】线性回归+代码实现
wangkai12123: 想要数据集
【leetcode】输出一个数的所有质数因子
飞鱼9372: 判断n%i == 0以后没有给n重新赋值，造成while死循环[code=python] def findPrime(n): if n <= 1: return i = 2 res = [] while n > 1: if n%i == 0: n = n/i res.append(i) else: i+=1 return res [/code]
【机器学习】线性回归+代码实现
qq_44686396: 找不到你的feliname文件

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。