标签: 机器学习
线性分类模型
分类的目标是将输入变量 x 分到 K 个离散的类别 Ck 中的某一类。线性分类模型中决策面是x的线性函数,为 D 维输入空间中的 (D − 1) 维超平面。
采用决策论分类时,也是要先推断(即训练学习)再做决策。有三种方法得到决策:
- 判别函数,不用概率,直接定义函数进行分类
- 生成式法: ∑p(x,Ck)→p(x)→p(x|Ck)→p(Ck|x)
- 判别式法,直接从数据求 p(Ck|x)
判别函数
将x分类到 Ck 的映射函数,只讨论线性判别函数。
区别两类
y(x⃗ )=wTx⃗ +w0{
≥0<0x⃗ ∈C1x⃗ ∈C2
分界面 y(x⃗ )=0 ,其中 w0 决定了分界面与原点的距离为 −w0||w|| 。
区别多类
区别K类,若分界面是区分A和 A¯ 的,则要K-1个分界面;若分界面是区别A和B的,需要 K(K−1)2 个分界面。但都会出现无法区分的区域。
故规定K类判别函数,由K个线性函数组成
yk(x⃗ )=wTkx⃗ +wk0{
>yj(x⃗ )else∀j,x∈Ckx∉Ck
yk(x⃗ )和yj(x