学习笔记4-线形二分类问题

1. 问题描述

如图：

设由训练集$D=\left(x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_n^{\left(i\right)}\right),i=1,2,...,m$所组成的两类数据，现如今需要求得一直线(平面或超平面)
$$X{W}^T+b=0$$
上式中，$X=\left[x_0,x_1,x_2,...,x_n\right]$，$W=\left[w_1,w_2,...,w_n\right]$，来区分两类数据，并且满足训练集到超平面的距离是最小的。

2.推导

2.1分类别

对于第一个要求，把两类数据分开。设实心类为A，空心类为B。
对于数据本身，若满足：
$$X{W}^T+b<0$$
则可以判定其为B类，反之为A类。

2.2数据集到直线(超平面)的距离最小

设总的数据集到区分面的距离为$D$，数据集$i$到区分面距离为$d^{\left(i\right)}$.
则有：
$$d^{\left(i\right)}=\frac{X^{\left(i\right)}{W}^T}{\sqrt{||W||}}$$

$||W||$是$W$向量的二范数，其具体数值为：$||W||=W{W}^T$。
由此得到：
$$D=\sum _{i=1}^m\frac{X^{\left(i\right)}{W}^T}{\sqrt{||W||}}$$
同时，D也是损失函数。

3.代码实现