模式识别学习笔记（十六）--非线性分类器

前面的学习中，我们学习了有关线性分类器的相关知识，但是要知道，很多情况下我们并不能保证类别间的分类面是线性的（线性是最简单的情况），而且许多复杂问题中，可能采用非线性分类器更适合问题的解决；因此接下来开始，继续学习有关非线性分类器的东西，必要时可以跟前面线性分类器进行一个总体的比较，帮助加深印象。

常用的非线性分类器主要有两大类：基于判别函数的和非基于判别函数的；

基于设计判别函数的非线性分类器有：

1）分段线性分类器：基于非线性函数可以由多段线性函数来拟合和逼近的思想，如分段线性距离分类器，即多个最小距离分类器的组合，其中所谓的最小距离分类器，就是在先验概率相等，各维特征独立且方差相等条件下的最小错误率贝叶斯决策，思路很简单，就是以两类的均值为中心点，离谁的中心点近就讲新样本给到哪一类；

2）二次判别函数：如正态分布下的贝叶斯决策面，就是二次函数；

3）多层感知器：这是一种神经网络（NN）的思想，由多个感知器的组合；

4）SVM：前面已经学习了最优超平面，即线性的SVM，这里所说的主要是非线性的SVM；

5）核函数法：自然会想到前面学习的Fisher线性判别，没错，这里的核函数法就包括Fisher判别的非线性推广；但是这里的核函数法的灵感出现，主要来源于SVM中两个核心思想：大间隔和核函数，借用这两个思想，人们对传统的线性函数做了具体改变，就形成了核函数法，或叫做核方法；

非基于设计判别函数的非线性分类器有：

1）近邻法：如最近邻，压缩近邻等；

2）决策树

3）随机森林

4）罗杰斯特回归，又叫逻辑回归（Logistic regression）

5）Boosting方法