机器学习中分类和预测算法的评估:
准确率
速度
强壮性
可规模型
可解释性
决策树
决策树是一个类似于流程图的结构
节点表示判断,将连续变量离散化,规定阈值归类
信息熵:变量的的不确定性越大,熵也就越大
计算公式:
P(x)为单个事件的概率
决策树归纳算法(ID3)
选择属性判断结点
信息获取量(Information Gain):Gain(A) = Info(D) -Infor_A(D)
通过A来作为节点分类获取了多少信息
选择信息获取量最大的属性作为根节点,重复此过程直到所有结果都属于同一个类。
· 树以代表训练样本的单个结点开始(步骤1)。
· 如果样本都在同一个类,则该结点成为树叶,并用该类标号(步骤2 和3)。
· 否则,算法使用称为信息增益的基于熵的度量作为启发信息,选择能够最好地将样本分类的属性(步骤6)。该属性成为该结点的“测试”或“判定”属性(步骤7)。在算法的该版本中,
· 所有的属性都是分类的,即离散值。连续属性必须离散化。
· 对测试属性的每个已知的值,创建一个分枝,并据此划分样本(步骤8-10)。
· 算法使用同样的过程,递归地形成每个划分上的样本判定树。一旦一个属性出现在一个结点上,就不必该结点的任何后代上考虑它(步骤13)。
· 递归划分步骤仅当下列条件之一成立停止:
· (a) 给定结点的所有样本属于同一类(步骤2 和3)。
· (b) 没有剩余属性可以用来进一步划分样本(步骤4)。在此情况下,使用多数表决(步骤5)。
· 这涉及将给定的结点转换成树叶,并用样本中的多数所在的类标记它。替换地,可以存放结
· 点样本的类分布。
· (c) 分枝
· test_attribute = a i 没有样本(步骤11)。在这种情况下,以 samples 中的多数类
· 创建一个树叶(步骤12)
特点:贪心算法,自上而下
其他算法:C4.5,CART(选择属性的度量方法不同
树剪枝叶:先剪枝,后剪枝
优点:直观、便于理解、小规模数据集有效
缺点:处理连续变量不好、类别较多时错误增加较快、可规模性一般
Python机器学习的库:sickit-learn
特性:
对所有用户开放,根据不同需求高度可重用性
基于Numpy, SciPy和matplotlib
开源,商用级别:获得 BSD许可
覆盖问题领域:
分类(classification), 回归(regression), 聚类(clustering), 降维(dimensionalityreduction)
模型选择(model selection), 预处理(preprocessing)
使用用scikit-learn
安装scikit-learn: pip,easy_install, windows installer
安装必要package:numpy, SciPy和matplotlib, 可使用Anaconda (包含numpy, scipy等科学计算常用
package)
安装注意问题:Python解释器版本(2.7 or3.4?), 32-bit or 64-bit系统