机器学习之分类器的进阶

项目中我用到的分类器是随机森林。 

理解随机森林，我先po一篇论文。George Vosselman教授的 

http://www.sciencedirect.com/science/article/pii/S0924271616306207 

这里面用到的分类器是CRF以及RF； 

这里面是基于segment-based classification的论文，其中feature的计算是基于segment的 用的是条件随机场，条件随机场的思想和图割非常相近。

都是分为 associate potential 以及 interactive potential 

associate potential 就是没有neighborhood,直接自己单个点的进行分类.

interactive potential 就是neighborhood之间的分类。

CRF是个无向图是为上下文分类提供一个概率框架，接下来看https://wenku.baidu.com/view/6ff1fa6952ea551811a68752.html?qq-pf-to=pcqq.c2c 这个网站第一部分 Discrete Optimization：graph cuts and Belie propagation  读一读就行了，主要是计算min-cut,能量最小值也是max flow,也就是（data term, smooth term），当处理一个label的时候，共同处理所有的pixel, 其他pixel为第二类，对每个pixel一个个的处理。如果要是把这个pixel误分为其他label的话，那么就麻烦了，以为其他label可能是 2 3 4 5 6 那么，很难找到那个pixel属于哪个类。所以即使是错分，也要把其他label pixel分为1 . 这个里面的思想和CRF的总体思想大概一致，但是写的更加的详细。CRF 通过确定graph structures, 模型 用作potential 以及features来进行应用，而graph structure  model 以及features都是可以进行自己选的。比如你可以用RF作为先前概率输出的分类器，当然线性的也可以。

CRF的一个重要特征是：它是基于其他分类器输出的概率结果，举个例子： RF输入的是每一个点以及点的特征，然后输出的是vote就是概率vector, 然后获取哪个label最大的概率，这个点就是那个label了，而CRF就是基于这个概率输出，然后进行再一次分类。 CRF也可以用为一个点的分类。 输入的数据也是基于其他分类器输出的概率结果。

还有训练的时候最好每个类别都要选取同样的sample，即使有的类别可能点云更多区域更大， 而有的点云区域小，点云多，但是 还是要尽可能选取同样数量的数量，这个很多文章都有提到过！

问题就是再次分类怎么找概率？而且怎么用程序？

RF是由T个random decision tree来组成的，每棵树都是独立进行训练，训练的数据都是随机选择的，对于RF来讲，重要的参数是树的深度，以及需要训练的最小数量的samples. 分类的时候每课树进行投票，最后获得投票数量最多的就是那个label. 而随机森林差不多是associate potential 是一个点进去一个点出来概率。

注意：分类器都是需要先用reference data和features来进行训练，训练出一个模型，然后输入模型和需要分类的数据得到分类结果！