学习决策树笔记

最新推荐文章于 2023-01-13 23:20:20 发布

劷鹿

最新推荐文章于 2023-01-13 23:20:20 发布

阅读量98

点赞数

文章标签：机器学习算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/y0929/article/details/82683536

版权

构造决策树之前需要决定使用哪个特征进行划分数据，为了划分出更好的结果，需要找到决定性的特征。

而特征的好坏是根据一些准则来进行衡量的，比如信息增益，信息增益率，基尼指数等等。

代名词及公式的理解

信息 $l(x_{i})=-log_{2}p(x_{i})$

信息熵（信息的期望值） $H=-\sum _{i=1}^{n}p(x_{i})log_{2}p(x_{i})$ (熵越高，混合的数据越多------熵越小纯度越高)

信息增益 $Gain(D,a)=Ent(D)-\sum _{v=1}^{V}(\left | D^{v} \right |/\left | D \right |)Ent(D^{v})$ （信息增益越大越好，信息增益偏好取值数目多的属性）

信息增益率 $Gain_ratio(D,a)=Gain(D,a)/IV(a)$ (a是属性，IV(a)成为属性a的固有值，对取值数目较少的属性有所偏好) $IV(a)=-\sum _{v=1}^{V}\frac{\left | D^{v} \right |}{\left | D \right |}log_{2}\frac{\left | D^{v} \right |}{\left | D \right |}$ (属性a的取值越多，即V越大，则IV(a)的值通常会越大)

基尼值 $Gini(D)=\sum _{k=1}^{\left | y \right |}\sum _{k^{'}\neq k}p_{k}p_{k^{'}}=1-\sum _{k=1}^{\left | y \right |}p_{k}^{2}.$ (反映了从数据集D中随机抽取两个样本，其类别标记不一致的概率，基尼值越小，数据集D的纯度越高)

基尼指数 $Gini\_index(D,a)=\sum _{v=1}^{V}\frac{\left | D^{v} \right |}{\left | D \right |}Gini(D^{v})$ (选择基尼指数最小得属性作为最优划分属性)

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
学习决策树笔记

构造决策树之前需要决定使用哪个特征进行划分数据，为了划分出更好的结果，需要找到决定性的特征。而特征的好坏是根据一些准则来进行衡量的，比如信息增益，信息增益率，基尼指数等等。代名词及公式的理解信息信息熵（信息的期望值） (熵越高，混合的数据越多------熵越小纯度越高) 信息增益（信息增益越大越好，信息增益偏好取值数目多的属性） ...
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。