看懂论文的机器学习基本知识（五）--随机森林、决策树

         由于TLD算法中采用的是随机森林分类器，这里将自己找的资料汇下总，以便日后查找所需。

       随机森林分类的过程就是对于每个随机产生的决策树分类器，输入特征向量，森林中每棵决策树对样本进行分类，根据每个决策树的权重得到最后的分类结果。那么要搞清随机森林，就来先搞清下决策树。

1、决策树

       所谓决策树，顾名思义，是一种树，一种依托于策略抉择而建立起来的树。

1.1 树

   树是一种数据结构，它是由n（n>=1）个有限结点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。下图就是一棵树：（引用自维基百科）

树具有的特点：

• 每个结点有零个或多个子结点；
• 没有前驱的结点称为根结点；
• 每一个非根结点有且只有一个父结点；
• 除了根结点外，每个子结点可以分为m个不相交的子树；

树中常用的术语：

1. 节点的度：一个节点含有的子树的个数称为该节点的度；
2. 树的度：一棵树中，最大的节点的度称为树的度；
3. 叶节点或终端节点：度为零的节点；
4. 非终端节点或分支节点：度不为零的节点；
5. 双亲节点或父节点：若一个结点含有子节点，则这个节点称为其子节点的父节点；
6. 孩子节点或子节点：一个节点含有的子树的根节点称为该节点的子节点；
7. 兄弟节点：具有相同父节点的节点互称为兄弟节点；
8. 节点的层次：从根开始定义起，根为第1层，根的子节点为第2层，以此类推；
9. 树的高度或深度：树中节点的最大层次；
10. 堂兄弟节点：双亲在同一层的节点互为堂兄弟；
11. 节点的祖先：从根到该节点所经分支上的所有节点；
12. 子孙：以某节点为根的子树中任一节点都称为该节点的子孙。
13. 森林：由m（m>=0）棵互不相交的树的集合称为森林；

树的种类：

• 无序树：树中任意节点的子结点之间没有顺序关系，这种树称为无序树，也称为自由树；
• 有序树：树中任意节点的子结点之间有顺序关系，这种树称为有序树；
  • 二叉树：每个节点最多含有两个子树的树称为二叉树；
    • 完全二叉树：对于一颗二叉树，假设其深度为d（d>1）。除了第d层外，其它各层的节点数目均已达最大值，且第d层所有节点从左向右连续地紧密排列，这样的二叉树被称为完全二叉树；
    • 满二叉树：对于上述的完全二叉树，如果去掉其第d层的所有节点，那么剩下的部分就构成一个满二叉树（此时该满二叉树的深度为d-1）；
  • 霍夫曼树：带权路径最短的二叉树称为哈夫曼树或最优二叉树；
  • B树

1.2 决策树（引用自http://blog.csdn.net/v_july_v/article/details/7577684）

    机 器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。 决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。
       从数据产生决策树的机器学习技术叫做决策树学习, 通俗点说就是决策树，说白了，这是一种依托于分类、训练上的预测树，根据已知预测、归类未来。