![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 78
MingRachel
废物一个 咸鱼一条
展开
-
随机森林里oob_score以及用oob判断特征重要性的理解
本文总结了我在学习随机森林时关于oob产生的一系列问题以及学习到的问题答案1. 什么是oob2. 什么是oob_score3. 如何用oob判断特征的重要性错误理解与纠正参考文章在学习随机森林算法参数解释以及参数择优的过程中,注意到oob_score这一参数对应是否采用袋外样本来评估模型的好坏。同时在学习随机森林的优点时,其中一条是训练后可以给出各个特征对于输出的重要性。一开始未能清楚理解该优点的理论原因是什么,但在今天学习oob_score的时候,我就想这个优点是不是就是基于oob实现的(不是!具体原创 2021-03-21 11:49:54 · 21890 阅读 · 9 评论 -
决策树ID3算法中导致递归返回的三种情况
本文主要对三种递归返回作出解释,ID3基本算法请大家自行搜索大佬们的绝美解释在学习决策树ID3算法的过程中,发现很多文章都非常详细的讲解了利用信息增益挑选特征的过程,但是对三种递归返回情况都是重复以下几句话。在决策树基本算法中,有三种情形会导致递归返回:当前结点包含的样本全属于同一类别,无需划分,直接把该结点做为叶结点,类别划分为该结点下所有样本同属的类别;当前属性集为空,或者所有样本在所有属性上取值相同,无法划分,直接把该结点做为叶结点,类别划分为该结点下各路大佬们再次默认小菜鸡一定能明白…原创 2021-03-18 07:36:17 · 1592 阅读 · 5 评论 -
为什么不能直接用线性回归做分类(loss function角度)
本文将对在做分类问题的时候不选用线性回归而是选用以Sigmoid函数作为拟合函数的逻辑回归作出两点解释。1.线性回归中返回的是连续的预测值(-∞,+∞),而不是便于判断类别的概率 [0,1]通过线性回归和逻辑回归的拟合函图像数我们可以看出,线性回归的范围在(-∞, +∞),而逻辑回归的范围在[0,1]之间,我们可以比较方便的根据概率(即g(x))的大小来判断类别。(比如,当g(x)>0.5,我们可以认为y = 1)2.当用线性回归做分类问题时,预测结果极易受到极端值的影响。接下来从损失函数作原创 2021-03-16 09:19:46 · 2044 阅读 · 0 评论