关闭

[置顶] 模式识别学习笔记(十六)--非线性分类器

标签: 非线性分类器判别函数
1462人阅读 评论(0) 收藏 举报
分类:

前面的学习中,我们学习了有关线性分类器的相关知识,但是要知道,很多情况下我们并不能保证类别间的分类面是线性的(线性是最简单的情况),而且许多复杂问题中,可能采用非线性分类器更适合问题的解决;因此接下来开始,继续学习有关非线性分类器的东西,必要时可以跟前面线性分类器进行一个总体的比较,帮助加深印象。

常用的非线性分类器主要有两大类:基于判别函数的和非基于判别函数的;

基于设计判别函数的非线性分类器有:

1)分段线性分类器:基于非线性函数可以由多段线性函数来拟合和逼近的思想,如分段线性距离分类器,即多个最小距离分类器的组合,其中所谓的最小距离分类器,就是在先验概率相等,各维特征独立且方差相等条件下的最小错误率贝叶斯决策,思路很简单,就是以两类的均值为中心点,离谁的中心点近就讲新样本给到哪一类;

2)二次判别函数:如正态分布下的贝叶斯决策面,就是二次函数;

3)多层感知器:这是一种神经网络(NN)的思想,由多个感知器的组合;

4)SVM:前面已经学习了最优超平面,即线性的SVM,这里所说的主要是非线性的SVM;

5)核函数法:自然会想到前面学习的Fisher线性判别,没错,这里的核函数法就包括Fisher判别的非线性推广;但是这里的核函数法的灵感出现,主要来源于SVM中两个核心思想:大间隔和核函数,借用这两个思想,人们对传统的线性函数做了具体改变,就形成了核函数法,或叫做核方法;

非基于设计判别函数的非线性分类器有:

1)近邻法:如最近邻,压缩近邻等;

2)决策树

3)随机森林

4)罗杰斯特回归,又叫逻辑回归(Logistic regression)

5)Boosting方法


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:213008次
    • 积分:3568
    • 等级:
    • 排名:第9562名
    • 原创:128篇
    • 转载:22篇
    • 译文:3篇
    • 评论:114条
    博客专栏
    git博客
    https://zhleternity.github.io/
    最新评论