非线性分类器小结

前言

其实线性判别器，对于分类问题，若表示在平面上，可以表示为用一个线性函数对目标进行分类。假如待分类目标是图1所示情况，则不能用线性判别器进行分类。

图1.非线性分类示意图
这种情况下需要用到分段直线分类或者二次曲线分类。

阅读了一些文献，对非线性判别器进行了总结。常用的非线性判别器有：

1. 分段判别函数；
2. 二次判别函数；
3. 神经网络；

其中神经网络为较为常用的非线性判别器，也分为前馈神经网络和BP神经网络。

1. 分段判别函数

分段判别函数确定的决策面由多段超平面组成，可以用于逼近各种形状，具有较强的适应能力。大致可表现为上图所示样子。

1.1. 待分类目标为单峰

当待分类目标为单峰时，连接2类目标的峰值顶点，表示在平面上如图2所示：

图2.待分类目标为单峰

决策面为两类均值连线的垂直评分面

1.2. 待分类目标为多峰

当代分类目标为多峰时，1个目标类别中选取1个峰值顶点不能完整表示类分布情况，如图3所示：

图3.待分类目标为多峰

分段判别器可以表示为多段折现的形式。

1. 首先将在一个类别的目标中选出几个峰值顶点，将一个大类分为几个子分类（即，将一个集合分为若干个子集，如图中蓝色区域所示）；
2. 将不同分类的子类之间的峰值顶点相连接；
3. 然后去连接线的法向，取分段超平面，即实现多段判别。

如果用数学语言描述的话，就是：
对于$w_i$类的目标，一共有$K$个峰值顶点，$R_i$表示的是分类目标的样本区域，$R_i^1,R_i^2.....$是子分类目标区域
R i = { R i 1 , R i 2 , R i 3 , . . . , R i K i } R_i=\{R_i^1,R_i^2,R_i^3,...,R_i^{K_i}\} Ri​={Ri1​,Ri2​,Ri3​,...,RiKi​​}
${\mu }_i^K$为各子分类区域中的各个样本的均值向量，也就是该子分类区域的峰值顶点。
那么在$w_i$类上的判别函数为：
$$g_i(x)=\underset{K=1,2,...,K_i}{\min }\Vert \begin{array}{c}x-{\mu }_i^K\end{array}\Vert$$
决策规则是：
$$\begin{gathered} 若g_j(x)=\underset{i=1,2,3,...,K}{\min }{g}_i(x)则把x归类到w_i类 \\ 若是加以推广，则g_i(x)=\underset{K=1,2,3,...,K_i}{\max }{g}_i^K(x) \end{gathered}$$
如果是第$i$类的第n个子类和第$j$类的第m个子类相邻，则该段的决策方程是：
$$g_i^n(x)=g_j^m(x)$$
需要注意的是：被分类目标的维度必须是一致的，如果不是同一维度，则不能使用此种分类方法！

1.3. 分类器设计思路

设计分段判别器/分类器就是设计判别函数中的各类系数，比如利用样本集来确定一组$w_i^K$和$w_{i0}^K$。

1. 子类及子类划分已知
   即，表示为图3黄色的情况，已经有了明确的划分，就可以把子类看作是独立的类，然后利用多类线性判别的方法将各个子类分类，可以借助聚类分析的方法来解决。
2. 子类数已知，但子类划分未知
   在设计分段判别器的同时，对子类进行划分。首先对给定子类进行权向量初始化，然后利用训练样本进行迭代训练，按照一定规则修改权重向量。一直训练直到收敛或者达到某收敛阈为止，即可实现利用分段判别器进行有效分类。
3. 未知子类数目
   如果为止子类数目的话，可以使用一种叫“二分数分段判别器”的算法。大概的过程可以表示为图4所示。
   

图4.未知子类数目的判别 这种方法对初始权向量的选择很敏感，其结果随初始权向量的不同而大不相同。

2.二次判别函数

当概率密度函数满足高斯分布或正态分布的情况，贝叶斯决策的分类面是一个二次函数，二次判别函数也是一种比较常用的固定函数类型的分类方法，它确定的决策面是一个抄二次曲面，包括超球面、超椭球面、超双曲面等等。

二次判别函数为：
$$g(x)=x^{T}Wx+w^{T}x+w_0=\sum _{k=1}^d{w}_{kk}{x}_k^2+2\sum _{j=1}^{d-1}\sum _{k=j+1}^d{w}_{jk}{x}_j{x}_k+\sum _{j=1}^d{w}_j{w}_j+w_0$$
其中$W$是$d\ast d$的实对称矩阵，$w$是$d$维向量。为确定判别函数$g(x)$需要确定一些系数。
$$系数n=\frac{1}{2}d(d+3)+1$$
判别函数为：
$$\begin{gathered} g_i(x)=K_i^2-(x-{\hat{\mu }}_i{)}^T\sum _i^{-1}(x-{\hat{\mu }}_i{)}^T \\ 其中\sum _i=\frac{1}{N_i-1}\sum _{x_j\in w_j}(x_j-{\hat{\mu }}_i)(x_j-{\hat{\mu }}_i{)}^T \\ {\hat{\mu }}_i=\frac{1}{N_i}\sum _{x_j\in w_j}{x}_j \\ g(x)=g_1(x)-g_2(x) \end{gathered}$$
如果一类聚类，另一类分散，则其中一类的判别函数为：
$$g(x)=K^2-(x-{\hat{\mu }}_1{)}^T\sum _i^{-1}(x-{\hat{\mu }}_1)$$

3. 神经网络

3.1. 概述

单层感知器能够完成线性分类，但是他无法解决非线性的分类问题。
两层感知机可以构成最简单的神经网络，对非线性问题进行分类。
多层感知机组合构成的神经网络，除了输入输出层，中间还有很多隐藏层，各层之间由可修正的权重$weight$连接，表示“神经元”之间传递信号的“信号强度”。其中每个“神经元”还有一个偏置项$bias$。“神经元”的作用是将输入它的信号求加权和，然后经过一个激活函数，当超过阈值时输出，否则信号被抑制。其中激活函数可以是线性函数、阈值函数或者sigmoid函数。神经网络的输出层可以用分类器来连接，输出的结果就是分类的结果。如果信号按照输入层–>隐藏层–>输出层的方向单向传递，则称此神经网络为前馈神经网络。

3.2. BP神经网络

BP神经网络的英文名称为Backpropagation Neural Network，叫反向传播网络，是目前使用比较广泛的神经网络之一。该网络可以学习和储存大量输入输出映射关系，而不用关心映射函数本身（黑箱运行），通过不断迭代训练和反向传播的方式来调整网络的权值和阈值，最终使网络的误差平方和最小。
神经元模仿了生物神经元所具备的几个重要功能：加权、求和、转移。图5为单个神经元的示意图：

图5.单个神经元

BP算法由数据流的前向计算（前向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层–>隐藏层–>输出层构成，且每层神经元的状态只影响下一层神经元。如果输出层得不到想要的输出，就会反向传递误差信号来调整权重。BP算法调整每层的权重来减小全局误差，使输出结果为预期的结果。
全局误差为：
$$E=\frac{1}{2}\sum _{p=1}^p\sum _{j=1}^m(t_j^p-y_j^p{)}^2=\sum _{p=1}^p{E}_p$$
第$i$和$j$层权重可以表示为：
$$\Delta w_{ij}=-\eta \frac{\partial E}{\partial w_{ij}}=-\sum _{p=1}^p(\eta \frac{\partial E_p}{\partial w_{ij}})$$
$\eta$就是学习率
权值调整还可以使用动量法：
$$\begin{gathered} \Delta W(n)=-\eta \nabla E(n)+\alpha \Delta W(n-1)， \\ \alpha 是动量系数（\alpha \in (0,0.9)）， \\ \eta 是学习率（\eta \in (0.001,10)） \end{gathered}$$
将上一次权值调整量的一部分叠加到按本次误差计算所得的权值调整量上作为本次的实际权值调整量。
另外，跑过程序的同学都知道，如果在训练时学习率一直不变，则训练的结果不会是最好的，所以在训练的过程中还应该时不时得调整学习率$\eta$。起初的学习率设置大一点，然后随着训练过程的进行，及时减少$\eta$的值，直到收敛（或者进入一个收敛阈内）。

将动量法和自适应学习率调整相结合，可以在一定程度上缩短BP算法的训练时间，并提升分类准确率。