模式识别学习笔记(十六)--非线性分类器

原创 2016年05月31日 18:35:33

前面的学习中,我们学习了有关线性分类器的相关知识,但是要知道,很多情况下我们并不能保证类别间的分类面是线性的(线性是最简单的情况),而且许多复杂问题中,可能采用非线性分类器更适合问题的解决;因此接下来开始,继续学习有关非线性分类器的东西,必要时可以跟前面线性分类器进行一个总体的比较,帮助加深印象。

常用的非线性分类器主要有两大类:基于判别函数的和非基于判别函数的;

基于设计判别函数的非线性分类器有:

1)分段线性分类器:基于非线性函数可以由多段线性函数来拟合和逼近的思想,如分段线性距离分类器,即多个最小距离分类器的组合,其中所谓的最小距离分类器,就是在先验概率相等,各维特征独立且方差相等条件下的最小错误率贝叶斯决策,思路很简单,就是以两类的均值为中心点,离谁的中心点近就讲新样本给到哪一类;

2)二次判别函数:如正态分布下的贝叶斯决策面,就是二次函数;

3)多层感知器:这是一种神经网络(NN)的思想,由多个感知器的组合;

4)SVM:前面已经学习了最优超平面,即线性的SVM,这里所说的主要是非线性的SVM;

5)核函数法:自然会想到前面学习的Fisher线性判别,没错,这里的核函数法就包括Fisher判别的非线性推广;但是这里的核函数法的灵感出现,主要来源于SVM中两个核心思想:大间隔和核函数,借用这两个思想,人们对传统的线性函数做了具体改变,就形成了核函数法,或叫做核方法;

非基于设计判别函数的非线性分类器有:

1)近邻法:如最近邻,压缩近邻等;

2)决策树

3)随机森林

4)罗杰斯特回归,又叫逻辑回归(Logistic regression)

5)Boosting方法


版权声明:本文为博主原创文章,转载请注明出处:http://blog.csdn.net/eternity1118_。

相关文章推荐

深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器

这个部分我们介绍一类新的分类器方法,而对其的改进和启发也能帮助我们自然而然地过渡到深度学习中的卷积神经网。有两个重要的概念: 得分函数/score function:将原始数据映射到每个类的打分的函...

线性分类器和非线性分类器

***********************线性和非线性的区别******************************** 1. 线性linear,指量与量之间按比例、成直线的关系,在数学上可...

分类器设计之线性分类器和线性SVM(含Matlab代码)

对于高维空间的两类问题,最直接的方法是找到一个最佳的分类超平面,使得0" alt="">并且,对于所有的正负训练样本和. 因此,以上问题可以表达为: 0,i=1,....,n&&space;\\&...

Python3《机器学习实战》学习笔记(九):支持向量机实战篇之再撕非线性SVM

上篇文章讲解的是线性SVM的推导过程以及简化版SMO算法的代码实现。本篇文章将讲解SMO算法的优化方法以及非线性SVM。...

机器学习系列:(五)决策树——非线性回归与分类

决策树——非线性回归与分类 前面几章,我们介绍的模型都是广义线性模型,基本方法都是通过联接方程构建解释变量与若干响应变量的关联关系。我们用多元线性回归解决回归问题,逻辑回归解决分类问题...

机器学习 --- 1. 线性回归与分类, 解决与区别

机器学习可以解决很多问题,其中最为重要的两个是 回归与分类。 这两个问题怎么解决, 它们之间又有什么区别呢? 以下举几个简单的例子,以给大家一个概念 1. 线性回归 回归分析常用于分析两个变量X和...

解密SVM系列(四):SVM非线性分类原理实验

前面几节我们讨论了SVM原理、求解线性分类下SVM的SMO方法。本节将分析SVM处理非线性分类的相关问题。一般的非线性分类如下左所示(后面我们将实战下面这种情况): 可以看到在原始空间中你想用一...
  • on2way
  • on2way
  • 2015年08月17日 20:28
  • 6428

02-一次准则函数及梯度下降法

1. 感知器算法(两类) 基本思想:用训练模式检验初始的或迭代中的增广权矢量w的合理性,当不合理时,对齐进行校正。 算法实质:最优化技术中的梯度下降法。也是人工神经网络理论中的线性阈值神经元学习方法。...

模式识别(Pattern Recognition)学习笔记(十四)--多类线性判别函数

模式识别(Pattern Recognition)学习笔记(十四)--多类线性判别函数 如有错误还请海涵,多谢。。         首先,将多类线性判别函数记为:        按照上一...

[模式识别].(希腊)西奥多里蒂斯<第四版>笔记4之__非线性分类器

1,Exclusive OR(XOR)Booleanfunction问题 布尔量AND和OR是线性可分的 2,两层感知器     对Figure4.1中A类和B类,首先能想...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:模式识别学习笔记(十六)--非线性分类器
举报原因:
原因补充:

(最多只允许输入30个字)