![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 70
datarunner
这个作者很懒,什么都没留下…
展开
-
机器学习算法第一篇:决策树学习(一)
本篇是我学习决策树的一个入门,主要介绍最经典的决策树算法 ID3 决策树是由昆兰提出的一种作为分类的算法;它的特点主要是形象,简单易懂,不需要较多的专业领域知识;缺点则是根据不同算法各有不同;本篇先介绍最早由昆兰提出的ID3算法;在昆兰的文章中提出过,决策树算法的产生是来源于概念提取算法; ID3算法的基础概念是信息学概念:信息熵和信息增益 信息熵:用来衡量一个随机变量出现的期望值,一个变原创 2016-01-17 13:39:01 · 1627 阅读 · 0 评论 -
机器学习算法之决策树(二)
本篇是接着上一篇的决策树算法学习,只要提到决策树算法,提到ID3,就一定会提到它的改进算法:C4.5 其实在学习C4.5时我曾经困惑于信息增益率的式子,通过几个例子,和几篇博文,大致理清了它的思路,其实对于基本的算法,每篇博文的讲法大致类似,有时间还是应多拜读一些大师们的论文,有利于对算法更好的理解,这段话是对自己的劝诫;好了,言归正传,说一下算法; 首先,C4.5是基于对于ID3的改进:它的原创 2016-01-18 20:37:19 · 532 阅读 · 0 评论 -
机器学习算法之决策树(三)
之前两篇介绍了ID3,C4.5,本节介绍另一个算法,CART算法,在机器学习实践的书中,本节内容归结于回归部分,因为它分别介绍了分类树和回归树两种,本节主要介绍分类树,下节介绍回归树; 首先对比算法; 1)最明显的特征莫过于,CART算法是采用二分树进行决策,这就决定了对于多于两个的特征要采用方法进行超变量化; 2)剪枝方法,不同于之前的两种算法,CART算法采用代价复杂度剪枝方法;原创 2016-01-25 14:43:48 · 754 阅读 · 0 评论