关闭

[置顶] 模式识别学习笔记(十六)--非线性分类器

标签: 非线性分类器判别函数
2287人阅读 评论(1) 收藏 举报
分类:

前面的学习中,我们学习了有关线性分类器的相关知识,但是要知道,很多情况下我们并不能保证类别间的分类面是线性的(线性是最简单的情况),而且许多复杂问题中,可能采用非线性分类器更适合问题的解决;因此接下来开始,继续学习有关非线性分类器的东西,必要时可以跟前面线性分类器进行一个总体的比较,帮助加深印象。

常用的非线性分类器主要有两大类:基于判别函数的和非基于判别函数的;

基于设计判别函数的非线性分类器有:

1)分段线性分类器:基于非线性函数可以由多段线性函数来拟合和逼近的思想,如分段线性距离分类器,即多个最小距离分类器的组合,其中所谓的最小距离分类器,就是在先验概率相等,各维特征独立且方差相等条件下的最小错误率贝叶斯决策,思路很简单,就是以两类的均值为中心点,离谁的中心点近就讲新样本给到哪一类;

2)二次判别函数:如正态分布下的贝叶斯决策面,就是二次函数;

3)多层感知器:这是一种神经网络(NN)的思想,由多个感知器的组合;

4)SVM:前面已经学习了最优超平面,即线性的SVM,这里所说的主要是非线性的SVM;

5)核函数法:自然会想到前面学习的Fisher线性判别,没错,这里的核函数法就包括Fisher判别的非线性推广;但是这里的核函数法的灵感出现,主要来源于SVM中两个核心思想:大间隔和核函数,借用这两个思想,人们对传统的线性函数做了具体改变,就形成了核函数法,或叫做核方法;

非基于设计判别函数的非线性分类器有:

1)近邻法:如最近邻,压缩近邻等;

2)决策树

3)随机森林

4)罗杰斯特回归,又叫逻辑回归(Logistic regression)

5)Boosting方法


0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

线性分类器和非线性分类器

***********************线性和非线性的区别******************************** 1. 线性linear,指量与量之间按比例、成直线的关系,在数学上可...
  • u014755493
  • u014755493
  • 2017-04-15 09:23
  • 1523

解密SVM系列(四):SVM非线性分类原理实验

前面几节我们讨论了SVM原理、求解线性分类下SVM的SMO方法。本节将分析SVM处理非线性分类的相关问题。一般的非线性分类如下左所示(后面我们将实战下面这种情况): 可以看到在原始空间中你想用一...
  • on2way
  • on2way
  • 2015-08-17 20:28
  • 8150

机器学习 --- 1. 线性回归与分类, 解决与区别

机器学习可以解决很多问题,其中最为重要的两个是 回归与分类。 这两个问题怎么解决, 它们之间又有什么区别呢? 以下举几个简单的例子,以给大家一个概念 1. 线性回归 回归分析常用于分析两个变量X和...
  • ppn029012
  • ppn029012
  • 2013-04-09 23:13
  • 33846

SVM代码实现非线性分类

一、前言         在已经实现线性分类的基础上,进一步实现非线性分类的情况。其流程与代码与上一篇博客中的线性分类实现很相似。下面先谈一下sv与bsv,这些概念在西瓜书上可以找到的。关于这里出现...
  • Coco_liukeke
  • Coco_liukeke
  • 2017-06-02 20:24
  • 531

[深度学习基础] 2. 线性分类器

本文将以 softmax 线性分类器为例, 讨论数据驱动过程的各组成部分. 同时本章是后文非线性分类器和深度学习的铺垫. 1 训练数据 给定由 m 张图像组成的训练集, 每个图像的标记是 K 个不...
  • Hao_Zhang_Vision
  • Hao_Zhang_Vision
  • 2016-09-25 22:23
  • 1343

模式识别(Pattern Recognition)学习笔记(三十一)-- 线性回归

1.监督学习 回归算法通常用在监督学习中的学习算法,所以在讲回归之前,先来说说监督学习。 我们已经学习了很多的分类器设计方方法,如感知器、SVM等,他们的共同特点都是,根据给定的带有类别标签的样本,训...
  • eternity1118_
  • eternity1118_
  • 2016-06-17 16:08
  • 2743

机器学习:空间变换进行非线性分类

%Preceptron3.m %感知机算法(对偶形式) %f(X)=W'*X+b %f([X;1])=[W;b]'*[X;1] 增加维数,简化计算 %设W初始为0时,权重W是训练点的线性组合:...
  • lijil168
  • lijil168
  • 2017-03-27 22:09
  • 136

线性分类器和非线性分类器

***********************线性和非线性的区别******************************** 1. 线性linear,指量与量之间按比例、成直线的关系,在数学上可...
  • u014755493
  • u014755493
  • 2017-04-15 09:23
  • 1523

机器学习面试问题10

线性分类器与非线性分类器
  • u012073449
  • u012073449
  • 2016-07-30 18:32
  • 1917

机器学习之logistic分类线性与非线性实验(续)

本节续上节机器学习之logistic回归与分类对logistic分类的线性与非线性进行实验。上节中的“种子”分类实例中,样本虽然有7维,但是很大很大程度上符合线性可分的,为了在说明上节中的那种logi...
  • on2way
  • on2way
  • 2015-08-09 10:36
  • 1969
    个人资料
    • 访问:277538次
    • 积分:4193
    • 等级:
    • 排名:第8485名
    • 原创:130篇
    • 转载:22篇
    • 译文:3篇
    • 评论:121条
    博客专栏
    git博客
    https://zhleternity.github.io/
    最新评论