读《python数据挖掘与分析实战》之九

决策树

决策树是一树状结构，它的每一个叶节点对应着一个分类，非叶节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。对于非纯的叶节点，多数类的标号给出到达这个节点的样本所属的类。构造决策树的核心问题是在每一步如何选择适当的属性对样本做拆分。对一个分类问题，从已知类标记的训练样本中学习并构造出决策树是一个自上而下，分而治之的过程。

ID3算法简介及基本原理

ID3算法基于信息熵来选择最佳测试属性，它选择当前样本集中具有最大信息增益值的属性作为测试属性；样本集的划分则依据测试属性的取值进行，测试属性有多少不同取值就将样本集划分为多少子样本集，同时决策树上相应于该样本集的节点长出新的叶子节点。ID3算法根据信息论理论，采用划分后样本集的不确定性作为衡量划分好坏的标准，用信息增益值度量不确定性：信息增益值越大，不确定性越小。因此，ID3算法在每个非叶节点选择信息增益值最大的属性作为测试属性，这样可以得到当前情况下最纯的拆分，从而得到较小的决策树

ID3算法具体流程

ID3算法的具体如下

1）对当前样本集合，计算所有属性的信息增益

2）对当前信息增益最大的属性作为测试属性，把测试属性取值相同的样本划分为同一个子样本集；

3）若子样本集的类别属性只含有单个属性，则分支为叶子节点，判断其属性值并标上相应的符号，然后返回调用处；否则对子样本集递归调用本算法。

书上给出了相应案例，不再抄录。

人工神经网络

激活函数：人工神经网络的学习也成为训练，指的是神经网络在受到外部环境刺激下调整整个神经网络的参数，使神经网络以一种新的方式对外部环境做出反应的一个过程。在分类与预测中，人工神经网络主要使用有指导的学习方式，即根据给定的训练样本，调整人工神经网络的参数以使网络输出接近于已知的样本类标记或者其他形式的因变量。