线性、非线性分类器&数据的线性、非线性

线性、非线性分类器&数据的线性、非线性

一、线性分类器：

 

有无数个可划分这两个线性可分类的超平面

在二维空间里面，一个线性分类器是一条线。图14.8展示了五个分类例子。这些线有一个函数形式w₁x₁­+w_2­x₂=b。线性分类器的分类规则是：如果w₁x₁­+w_2­x₂>b，就把一个文档归类为，如果w₁x₁­+w_2­x₂<=b,就把它归类为。在这里，(x₁,x₂)^T是文档的二维向量表示，(w₁,w₂)是参数向量，和b一起决定决策边界。此外，在图 15.7中给出了线性分类器的另一种几何解释。

正如我们之前在公式 140中处理的那样，我们可以通过定义一个超平面将一个二维线性分类器映射到更高维空间，这里我重复一下之前的公式，即公式 144：

 

然后，分类标准更改为：如果WtX>b，就归类为一类，如果WtX<b，就归类为另一类。我们把使用的超平面作为一个线性分类器的决策超平面。

 

图14.9 线性分类算法

图 14.9展示的是在M维空间中对应的线性分类算法。首先，从给出的这个简化算法表述来看，线性分类似乎是很简单的。然而，困难的是线性分类器的训练，也就是基于数据集来确定参数和b。我们用于评估学习算法性能的标准是通过比较经过学习得到的线性分类器在新数据上的表现效果来确定的，通常会有一些学习算法最后会计算出优于其它算法的参数。

二、非线性分类器：

 

图14.11 非线性问题

       非线性分类器的一个典型例子就是kNN。从图 14.6这个例子可以看出，kNN的非线性是直观清晰的。kNN的决策边界（如14.6的 两条线 ）是局部线性划分，但通常有一个复杂的形状，并不等同于二维空间中的一条线或是更高维空间中的一条超平面。图 14.11是另一个非线性问题的例子：在 分布和 分布中没有一条很好的线性分割线，因为在图的左上角还有一个环形包围的“区域”。线性分类器会误分圆形内部的部分，所以在处理这种类型的问题时，如果训练集足够大的话，像kNN这样的非线性分类器反而会表现得更加精确。

      如果一个问题是非线性问题并且它的类边界不能够用线性超平面估计得很好，那么非线性分类器通常会比线性分类器表现得更精准。如果一个问题是线性的，那么最好使用简单的线性分类器来处理。或者将需把数据映射到一个更高维的核空间，使数据呈线性分布，实现非线性数据到线性数据的转换，从而对非线性数据进行分类。

三、线性数据和非线性数据

      简单讲，线性指量与量之间按比例、成直线的关系，在空间和时间上代表规则和光滑的运动；而非线性则指不按比例、不成直线的关系，代表不规则的运动和突变。我们说，线性关系是互不相干的独立关系，非线性则是相互作用，而正是这种相互作用，使得整体不再是简单地等于部分之和，而可能出现不同于"线性叠加"的增益或亏损。如问：两个眼睛的视敏度是一个眼睛的几倍？很容易想到的是两倍，可实际是 6－10倍！这就是非线性：1＋1不等于2。再比如，激光的生成就是非线性的！当外加电压较小时，激光器犹如普通电灯，光向四面八方散射；而当外加电压达到某 一定值时，会突然出现一种全新现象：受激原子好像听到“向右看齐”的命令，发射出相位和方向都一致的单色光，就是激光。 
       具体从相互关联的两个角度来看，线性满足了两点，其一：叠加原理成立；其二：物理变量间的函数关系是直线，变量间的变化率是恒量。相应地非线性概念就可以界定为：

       其二，作为等价的另—种表述，我们可以从另一个角度来理解非线性：在用于描述—个系统的一套确定的物理变量中，一个系统的—个变量最初的变化所造成的此变量或其它变量的相应变化是不成比例的，换言之，变量间的变化率不是恒量，函数的斜率在其定义域中有不存在或不相等的地方，概括地说，就是物理变量间的一级增量关系在变量的定义域内是不对称的。可以说，这种对称破缺是非线性关系的最基本的体现，也是非线性系统复杂性的根源。对非线性概念的这两种表述实际上是等价的，其叠加原理不成立必将导致其二物理变量关系不对称；反之，如果物理变量关系不对称，那么叠加原理将不成立。之所以采用了两种表述，是因为在不同的场合，对于不同的对象，两种表述有各自的方便之处，如前者对于考察系统中整体与部分的关系、微分方程的性质是方便的，后者对于考察特定的变量间的关系(包括变量的时间行为)将是方便的。 
      当然，对于线性规划问题，我们已有通用解法，而非线性规划的各种算法大多有自己特定的适用范围，都有一定的局限性，到目前为止还没有适合于各种非线性规划问题的一般算法。这正是需要人们进一步研究的课题。

线性和非线性对于函数：

1. 线性linear，指量与量之间按比例、成直线的关系，在数学上可以理解为一阶导数为常数的函数；
   非线性non-linear则指不按比例、不成直线的关系，一阶导数不为常数。
2. 线性的可以认为是1次曲线，比如y=ax+b ,即成一条直线
   非线性的可以认为是2次以上的曲线，比如y=ax^2+bx+c，(x^2是x的2次方)，即不为直线的即可
3. 两个变量之间的关系是一次函数关系的——图象是直线，这样的两个变量之间的关系就是“线性关系”；
   如果不是一次函数关系的——图象不是直线，就是“非线性关系
4. “线性”与“非线性”，常用于区别函数y = f (x)对自变量x的依赖关系。线性函数即一次函数，其图像为一条直线。其它函数则为非线性函数，其图像不是直线。
　　线性，指量与量之间按比例、成直线的关系，在空间和时间上代表规则和光滑的运动；而非线性则指不按比例、不成直线的关系，代表不规则的运动和突变。 
　　比如，普通的电阻是线性元件，电阻R两端的电压U，与流过的电流I，呈线性关系，即R=U/I，R是一个定数。二极管的正向特性，就是一个典型的非线性关系，二极管两端的电压u，与流过的电流i不是一个固定的比值，即二极管的正向电阻值，是随不同的工作点(u、i)而不同的。
5. 在数学上，线性关系是指自变量x与因变量yo之间可以表示成y=ax+b ,（a,b为常数），即说x与y之间成线性关系。
   不能表示成y=ax+b ,（a,b为常数），即非线性关系，非线性关系可以是二次，三次等函数关系，也可能是没有关系。

线性和非线性对于向量：

线性表示定义：给定向量组A：α1、α2、……、αm和向量β，如果存在一组数λ1、λ2、……、λm使β=λ1α1+λ2α2+……+λmαm，则向量β是向量组A的线性组合，这时称向量β能由向量组A线性表示。

1、向量组B=(β1，β2，……，βm)能由向量组A(α1，α2，……，αm)线性表示的必要条件是矩阵A=(α1，α2，……，αm)的秩等于矩阵B=(α1，α2，……，αm，B)的秩，而非充要条件，因为两个矩阵的秩相同，并不代表它们之间可以互相线性表示。

注意，此处向量组R(B)指的是R（A,B）     

2.向量组B能由向量组A线性表示，则向量组B的秩不大于向量A的秩。反之不一定成立。

3.① 一个向量可由向量组中其余向量线性表示，前提是这个向量组线性相关。

   ②但线性相关的向量组中并不是任一向量都可由其余向量线性表示。

   ③但当其余向量线性无关时，这个向量必可由其余向量线性表示。

4.零向量可由任一组向量线性表示。

5.向量组α1，α2，α3，……，αm中每个向量都可由向量组本身线性表示。

6.任一n唯向量α=（α1,α2，……,αm）都可由n唯单位向量组线性表示。

7.设α1，α2，α3，……，αm线性无关，而α1，α2，……，αm，β线性相关，则β可由α1，α2，α3，……，αm线性表示，且表示是唯一的。

因此，维数越高的数据越难线性表示。高光谱数据属于高维数据，因此很难线性表示，属于非线性数据，一般的线性分类器不能有效地分类，多用非线性分类器。