决策树

1  决策树学习是以实例为基础的归纳学习算法，是应用最广泛的逻辑方法。

2  典型的决策树学习系统采用自顶向下的方法，在部分搜索空间中搜索解决方案。它可以确保求出一个简单的决策树，但未必是最简单的。

3  决策树常用来形成分类器和预测模型，可以对未知数据进行分类或预测、数据挖掘等。从20世纪60年代，决策树广泛应用在分类、预测、规则提取等领域。
4  用决策树分类的步骤：
   第一步：利用训练集建立一棵决策树，建立决策树模型。这是从数据中获取知识，进行机器学习的过程。
   第二步：利用生成的决策树模型对未知的数据样本进行分类。
从根结点开始对该对象的属性逐渐测试其值，并且顺着分支向下走，直至到达某个叶结点，此时叶结点代表的类即为该对象所处的类。
5  决策树分类的步骤——建模

     

6   决策树分类的步骤——分类或预测

7   训练决策树模型的步骤：
第一个步骤(建树)。选取部分训练数据，按广度优先递归算法建立决策树，直到每个叶子结点属于一个类为止。
第二个步骤(剪枝)。用剩余的数据对生成的决策树进行检验，将不正确的问题进行调整，对决策树进行剪枝和增加结点，直到建立一个正确的决策树。
建树是通过递归过程，最终得到一棵决策树，而剪枝则是为了降低噪声数据对分类正确率的影响。

8  信息论是美国数学家C.E.Shannon为解决信息传递(通信)过程问题建立的一系列理论。
传递信息系统由三部分组成：
信源：发送端
信宿：接受端
信道连接两者的通道
9   通信过程是随机干扰环境中传递信息的过程。
在通信前，收信者(信宿)不可能确切了解信源会发出什么样的信息；
不可能判断信源的会处于什么样的状态，
上述情形称为信宿对于信源状态具有不定性，又叫先验不确定性。通信结束后，信宿还仍然具有一定程度的不确定性，称为后验不确定性。
后验不确定性总要小于先验不确定性，不可能大于先验不确定性。
如果后验不确定性的大小等于先验不确定性的大小，表示信宿根本没有收到信息。
如果后验不确定性的大小等于零，表示信宿收到了全部信息。
10  信息用来消除(随机)不定性。信息的大小，由消除的不定性大小来计量。
自信息量。在收到ai之前，收信者对信源发出ai的不确定性定义为信息符号ai的自信息量I(ai)。即I(ai)=-log2p(ai)，其中：p(ai)为信源发出ai的概率。

信息熵。自信息量只能反映符号的不确定性，而信息熵可以用来度量整个信源X整体的不确定性，定义如下：