![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 87
qianzhihudie
..................................
展开
-
决策树算法(ID3)
基本的理论知识: 信息熵:信息理论的鼻祖之一Claude E. Shannon(香农)把信息(熵)定义为 离散 随机事件 的出现概率。一般而言,当一种信息出现概率更高的时候,表明它被传播得更广泛,或者说,被引用的程度更高。我们可以认为,从信息传播的角度来看,信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准,可以做出关于知识流通问题的更多推论。 计算公式 H(x)原创 2017-01-22 16:25:08 · 318 阅读 · 0 评论 -
决策树算法(C4.5)
。 定义:分类树(决策树)是一种十分常用的分类方法。他是一种监管学习,所谓监管学习说白了很简单,就是给定一堆样本,每个样本都有一组属性和一个类别,这些类别是事先确定的,那么通过学习得到一个分类器,这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。分类本质上就是一个map的过程。C4.5分类树就是决策树算法中最流行的一种。 算法简介:该算法的框架表述还是比较清晰的原创 2017-01-22 20:05:25 · 570 阅读 · 0 评论