多特征结合方法总结

对于经典的模式识别方法，我们都主要是按照预处理、特征提取、特征选择（降维）、训练分类器（或分类），后处理几部分构成。在实际操作中，我们会经常发现我们会将不同的特征结合起来共同使用。比如对于视频领域的Mo-SIFT特征其实就是将SIFT特征和光流特征结合而来。再比如对于人脸识别，我们很可能会将块纹理特征（和LBP、Haar）和梯度直方图特征结合。在这些结合中我们都产生了关于不同类型特征结合的朴素思想，最简单的就是将不同的特征连在一起编程一个特征向量。这些思想都是有效且合理的。在这篇博客中，我们仅仅将这些朴素的思想进行总结。

我们基于特征联合发生在模式识别的不同阶段，将其主要分为三个层次。第一个层次是特征层，第二个层次是特征分数层，第三个是分类结果层。对于每个不同层次又有数中简单可行的方法同大家分享。

1. 第一层——特征层

特征层的思想就如上面我们举的例子一样，非常简单。把不同的特征联合在一起。但我们应该是什么是联合呢？假设我们有两类特征A和B，那我们是应该先将它们联合在一起形成一个统一