机器学习笔记 - 决策树基本算法

顾名思义, 决策树是基于树结构来进行决策的, 这也是人类面临决策问题时的一种很自然的处理机制. 比如, 我们对”这是好瓜吗?”这个问题进行决策时, 通常会进行一系列的判断, 先看它是什么颜色, 如果是青绿色, 再看它的根蒂是什么形态, 如果是蜷缩, 再看它敲起来是什么声音, 最终我们得到判断, 这是个好瓜。 决策树的形态大致如下图所示
决策树
基本算法:

输入: 训练集 D={(x1,y1),(x2,y2),...,(xm,ym)}
属性集 A={a1,a2,...,ad}
过程: 函数 TreeGenerate(D,A)
1: 生成节点node
2: if D中样本全属于同一类别 C; then
3: 将node标记为C类叶结点; return
4: end if
5: if A= OR D中样本在A上取值相同; then
6: 将node标记为叶结点, 其类别标记为D中样本数最多的类; return
7: end if
8: 从A中选择最优划分属性 a
9: for a的每个值av do
10: 为node 生成一个分支; 令 Dva上取值为av的样本子集;
11: if Dv= then
12: 将分支结点标记为叶结点, 其类别标记为D中样本数最多的类; return
13: else
14: TreeGenerate(Dv,A{a}) 为分支结点
15: end if
16:end for

输出:以node为根结点的决策树

Reference

  1. 机器学习 - 周志华 清华大学出版社
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/volvet/article/details/55053832
文章标签: 机器学习
个人分类: 机器学习
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

机器学习笔记 - 决策树基本算法

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭