![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
偏执狂_tao
座右铭:人不曾老去,直到悔恨取代了梦想
展开
-
信息增益的通俗理解
决策树的通俗理解决策树是机器学习中的重要内容,在决策树算法的学习过程中,信息增益是特征选择的一个重要指标,它定义为一个特征能够为分类系统带来多少信息,带来的信息越多,说明该特征越重要,相应的信息增益也就越大。最近在知乎上看见一篇对信息增益将得特别形象的文章,特地记录下来。[传送门:https://www.zhihu.com/question/22104055]...原创 2020-05-23 16:25:11 · 442 阅读 · 0 评论 -
信息熵的通俗理解
信息熵的通俗理解信息量的理解信息熵决策树是机器学习领域比较常见的算法,而信息熵在决策树的节点划分中具有重要作用。这里记录一下学习以便日后好复习。在理解信息熵之前先理解信息量这个概念。信息量的理解信息量是信息的度量,就好像速度的度量是m/s、时间的度量是秒一样。举个简单例子理解一下:比如今天早上起床看新闻,知道美国总统特朗普得了重病(hhhh,开玩笑的!),这对大家来说都是大新闻,信息量就比较大,概率这么小的事件发生了,有点出乎意料,而如果新闻内容是特朗普又说了中国什么坏话,你可能觉得没什么(因为他经原创 2020-05-23 10:54:40 · 1034 阅读 · 0 评论