Pattern Recognition and Machine Learning 第四章 线性分类模型

标签： 机器学习

---

线性分类模型

分类的目标是将输入变量 x 分到 K 个离散的类别$C_k$中的某一类。线性分类模型中决策面是x的线性函数，为 D 维输入空间中的 (D − 1) 维超平面。

采用决策论分类时，也是要先推断（即训练学习）再做决策。有三种方法得到决策：

1. 判别函数，不用概率，直接定义函数进行分类
2. 生成式法：$\sum p(x,C_k)→p(x)→p(x|C_k)→p(C_k|x)$
3. 判别式法，直接从数据求$p(C_k|x)$

---

判别函数

将x分类到$C_k$的映射函数，只讨论线性判别函数。

区别两类

$$y(\vec x)=w^T\vec x+w_0 \begin{cases} \geq0 &\text{$\vec x\in C_1$}\\ <0 &\text{$\vec x\in C_2$} \end{cases}$$
分界面 $y(\vec x)=0$，其中 $w_0$决定了分界面与原点的距离为 $-w_0\over||w||$。

区别多类

区别K类，若分界面是区分A和$\bar A$的，则要K-1个分界面；若分界面是区别A和B的，需要$K(K-1)\over 2$个分界面。但都会出现无法区分的区域。

故规定K类判别函数，由K个线性函数组成

$$y_k(\vec x)=w_k^T\vec x+w_{k0} \begin{cases} >y_j(\vec x) &\text{$\forall j, x\in C_k$}\\ else &\text{$x\notin C_k$} \end{cases}$$

yk(x⃗ )和yj(x