线性判别函数

线性判别函数

---

线性判别函数用来对线性可分的数据进行分类
判决方程：$g(\mathbf{x})=W^T\mathbf{x}+w_0$
其中，$\mathbf{x}$为d维列向量
判别规则：
对于二类分类，判决规则为：
当$g(\mathbf{x})>0$判决为类别1：$\omega_1$
当$g(\mathbf{x})<0$判决为类别2：$\omega_2$
等于0的情况为不可分。

---

齐次化

为了便于分析，通常将数据进行齐次化，也就是使得判决方程$g(\mathbf{x})$过原点。
具体操作：

$$g(\mathbf{x})=a^T\mathbf{y}\\ a=(w_0,W^T)^T\\ \mathbf{y}=(1,\mathbf{x})^T$$
也就是说原来我们需要求解 $W$和 $w_0$，现在只需要求解 $a$即可

规范化

由上面判决规则可知：

$$a^T\mathbf{y}>0,当\mathbf{x}属于类别\omega_1 a^T\mathbf{y}<0,当\mathbf{x}属于类别\omega_2$$
如果对于线性可分的数据，如果我们将 $\omega_2$的数据 $\mathbf{y}$变成 $\mathbf{-y}$，则对于所有的样本都有 $a^T\mathbf{y}>0$。

---

感知准则函数

将样本齐次化和规范化后我们可将损失函数定义为：

J=