凌桑的自我修养--You are the Eternity

大其愿,坚其志,虚其心,柔其气

模式识别学习笔记(十六)--非线性分类器

前面的学习中,我们学习了有关线性分类器的相关知识,但是要知道,很多情况下我们并不能保证类别间的分类面是线性的(线性是最简单的情况),而且许多复杂问题中,可能采用非线性分类器更适合问题的解决;因此接下来开始,继续学习有关非线性分类器的东西,必要时可以跟前面线性分类器进行一个总体的比较,帮助加深印象。

常用的非线性分类器主要有两大类:基于判别函数的和非基于判别函数的;

基于设计判别函数的非线性分类器有:

1)分段线性分类器:基于非线性函数可以由多段线性函数来拟合和逼近的思想,如分段线性距离分类器,即多个最小距离分类器的组合,其中所谓的最小距离分类器,就是在先验概率相等,各维特征独立且方差相等条件下的最小错误率贝叶斯决策,思路很简单,就是以两类的均值为中心点,离谁的中心点近就讲新样本给到哪一类;

2)二次判别函数:如正态分布下的贝叶斯决策面,就是二次函数;

3)多层感知器:这是一种神经网络(NN)的思想,由多个感知器的组合;

4)SVM:前面已经学习了最优超平面,即线性的SVM,这里所说的主要是非线性的SVM;

5)核函数法:自然会想到前面学习的Fisher线性判别,没错,这里的核函数法就包括Fisher判别的非线性推广;但是这里的核函数法的灵感出现,主要来源于SVM中两个核心思想:大间隔和核函数,借用这两个思想,人们对传统的线性函数做了具体改变,就形成了核函数法,或叫做核方法;

非基于设计判别函数的非线性分类器有:

1)近邻法:如最近邻,压缩近邻等;

2)决策树

3)随机森林

4)罗杰斯特回归,又叫逻辑回归(Logistic regression)

5)Boosting方法


阅读更多
版权声明:本文为博主原创文章,转载请注明出处:http://blog.csdn.net/eternity1118_。 https://blog.csdn.net/eternity1118_/article/details/51547886
所属专栏: 模式识别与机器学习
想对作者说点什么? 我来说一句

SVM算法,包括线性和非线性分类

2010年03月28日 232KB 下载

没有更多推荐了,返回首页

不良信息举报

模式识别学习笔记(十六)--非线性分类器

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭