非线性分类器

非线性分类器

分段线性判别函数

分段线性函数的基本思想

分段线性函数是一种特殊的非线性判别函数，它确定的决策面是由若干超平面段组成的
由于它的基本组成仍然是超平面，因此，与一般超曲面相比是简单的；又由于它是由多段超曲面组成的，所以它能逼近各种形状的超曲面，具有很强的适应性

把各类划分成适当的子类，在两类的多个子类之间构建线性判别函数，然后把它们分段合并成分段线性被别函数。

分段线性距离分类器

（1）当两类都是单峰分布
如服从正态分布且两类的方差相等时，基于最小距离的判别法为
$$g(x)=\parallel x-{\mu }_1{\parallel }^2-\parallel x-{\mu }_2{\parallel }^2\{\begin{array}{l}>0\\ <0\end{array}\Rightarrow x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}$$
决策面是两类均值连线的垂直平分面

最小距离分类器
单峰时有效

(2)当两类都是多峰分布时

如：
第一类的分布有两个峰
第二类的分布有三个峰
只取一个点不能反映类分部信息

解决办法：
对每一个峰去一个代表点
将每一类分成若干子集取每一子集的中心为代表点

数学语言表述：
如果对于${\omega }_i$类取$l_I$个代表点，或者说，把属于${\omega }_i$类的样本区域$R_i$分为$l_i$个子区域，即
$$R_i=\left\{\begin{array}{c}{R}_i^1，R_i^2,...,R_i^{li}\end{array}\right\}$$
${\mu }_i^l$为各个子区域中样本的均值向量，并以此作为该子区域的代表点，这样可以在${\omega }_i$类上定义如下判别函数
$$g_i(x)=\underset{l=1,2,...,l_i}{\min }\parallel x-{\mu }_i^l\parallel$$
决策规则是：
$$若g_j(x)=\underset{i=1,2,...,c}{\min }{g}_i(x)则把x归到{\omega }_j类$$
此方法适用于各个子类在各维分布基本对称的情况

所以分段线性距离分类器，在类别的各个维度不对称的情况下分类结果是不准确的

将上述基于距离的分段线性判别函数概念加以推广，把每一类分为若干个子类，即令
$${\omega }_i=\{\begin{array}{c}{\omega }_i^1\end{array}$$