4/13作业

决策树：是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，
最后每个叶节点代表一种分类结果，本质是一颗由多个判断节点组成的树。

熵：熵 Entropy 是“混乱”程度的量度。系统越有序，熵值越低；系统越混乱或者分散，熵值越高。
"信息熵" (information entropy)是度量样本集合纯度最常用的一种指标。
当系统的有序状态一致时，数据越集中的地方熵值越小，数据越分散的地方熵值越大。
“信息熵”是度量样本集合纯度最常用的一种指标 ，假定 当前样本集合 D 中第 k 类样本所占的
比例为 p k ( K =1, 2, ..., | y |) ，则 D 的信息熵定义为 
     
Ent(D)的值越小，则D的纯度越高      

 

决策树优点：
(1)速度快:计算量相对较小，且容易转化成分类规则。只要沿着树根向下一直走到叶，
沿途的分裂条件就能够唯一确定一条分类的谓词。
 
(2)准确性高:挖掘出的分类规则准确性高，便于理解，决策树可以清晰的显示哪些字段比较重要。
       
(3) 非参数学习，不需要设置参数。
缺点：
(1)缺乏伸缩性:由于进行深度优先搜索，所以算法受内存大小限制，难于处理大训练集。

(2)为了处理大数据集或连续值的种种改进算法(离散化、取样)不仅增加了分类算法的额外开销，
而且降低了分类的准确性,对连续性的字段比较难预测，当类别太多时，错误可能就会增加的比较快，
对有时间顺序的数据，需要很多预处理的工作。