【机器学习】线性（linear）与非线性（nonlinear）分类器区别

背景

在机器学习中，主要解决分类任务或回归任务，在这两者中，分类任务更为常见。

分类任务又分为线性（linear）分类和非线性（nonlinear）分类，本文主要介绍线性分类和非线性分类的区别。

区别

先放一张比较直观的图（来源见水印），左侧为非线性分类器，右侧为线性分类器。

即非线性分类器是求出左边这个曲线的表达式，线性分类器是求出右边这个直线的表达式。

线性分类器

线性分类器使用线性的函数表达式对样本进行分类，即划分边界为一个超平面，如：在二维空间中使用一条直线划分样本，在三维空间中使用一个平面来划分样本。线性分类器的常用表达式为：

其中 $w_j$ 代表权重向量，而 $x_j$ 代表样本特征向量， $w_j\cdot x_j$即为特征向量的线性组合。

$f(\cdot )$为一个简单的判别函数，通常是设定一个阈值，当 $\sum w_j\cdot x_j$大于该阈值时，判定样本属于某一类，否则判定样本属于另一类。选择不同的权重向量和阈值可以得到不同的分类超平面（如下面第一张图中的不同分类曲线）。

常见的线性分类器有：线性回归分类器，贝叶斯分类，单层感知机，SVM（线性核）等。

非线性分类器

为克服线性函数分类效果不足的问题，非线性分类器中引入了非线性函数来提升分类效果。非线性分类器用一个曲面或者多个超平（曲）面的组合将两组样本隔离开。一个典型的非线性分类器就是决策树，它的主要思想就是用多个线性分类器的组合来将两组样本隔离开。 决策树采用非常直观的方式来对样本进行分类，你只需要针对样本的特征问一系列问题就能将各样本分离开来。例如，当你想建立决策树来判断一个动物的种类时，可以询问以下问题：

其中对于每个问题的回答都相当于一个线性分类器（判定某一特征值是否超过某个阈值），对这一系列的问题的回答就是对线性分类器的组合，最终形成的分界面也是一些超平面的组合。

常见的非线性分类器包括决策树、随机森林、GBDT、SVM（非线性核）、多层感知机等。

很多的情况下样本是线性不可分的，这时可以通过升维的方法来解决。大致思路如下图所示：

非线性分类器由于其更加多样化的表达形式可以有更好的拟合效果，但这也导致他的设计和训练难度加大，而且当特征维度较低时采用非线性分类器可能会产生过拟合的问题。

借鉴

作者：Momodel
链接：https://www.zhihu.com/question/30633734/answer/1495493437
来源：知乎