- 博客(3)
- 收藏
- 关注
RSS订阅
原创 机器学习算法第一篇：决策树学习（一）
本篇是我学习决策树的一个入门，主要介绍最经典的决策树算法 ID3决策树是由昆兰提出的一种作为分类的算法；它的特点主要是形象，简单易懂，不需要较多的专业领域知识；缺点则是根据不同算法各有不同；本篇先介绍最早由昆兰提出的ID3算法；在昆兰的文章中提出过，决策树算法的产生是来源于概念提取算法；ID3算法的基础概念是信息学概念：信息熵和信息增益信息熵：用来衡量一个随机变量出现的期望值，一个变
2016-01-17 13:39:01
1619
原创 机器学习算法之决策树（三）
之前两篇介绍了ID3，C4.5，本节介绍另一个算法，CART算法，在机器学习实践的书中，本节内容归结于回归部分，因为它分别介绍了分类树和回归树两种，本节主要介绍分类树，下节介绍回归树；首先对比算法；1）最明显的特征莫过于，CART算法是采用二分树进行决策，这就决定了对于多于两个的特征要采用方法进行超变量化；2）剪枝方法，不同于之前的两种算法，CART算法采用代价复杂度剪枝方法；
2016-01-25 14:43:48
740
原创 机器学习算法之决策树（二）
本篇是接着上一篇的决策树算法学习，只要提到决策树算法，提到ID3，就一定会提到它的改进算法：C4.5其实在学习C4.5时我曾经困惑于信息增益率的式子，通过几个例子，和几篇博文，大致理清了它的思路，其实对于基本的算法，每篇博文的讲法大致类似，有时间还是应多拜读一些大师们的论文，有利于对算法更好的理解，这段话是对自己的劝诫；好了，言归正传，说一下算法；首先，C4.5是基于对于ID3的改进：它的
2016-01-18 20:37:19
525
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人