线性判别,是想在特征空间内,找到一个超平面 g(x) ,能够区分开数据。空间内的超平面表示为:
g(x)=∑ni=1wi∗xi+w0=wt∗x+w0=0 。
线性判别函数
由超平面到分类问题
假设特征空间内存在某一超平面为 g(x)=wt∗x+w0=0 ,则空间内某一点 x⇀ 到其的距离 r=g(x)||w|| ,其推理如下:
x⇀=xp⇀+r⇀
其中 xp⇀ 是点 x 在平面
将 x⇀ 带入 g(x) 得到:
g(x⇀)=wt∗x⇀+w0
g(x⇀)=wt∗(xp⇀+r⇀)+w0
g(x⇀)=g(xp⇀)+wt∗r⇀
xp⇀ 在平面上,所以 g(xp⇀)=0
故上式得: g(x)=wt∗r=<w,r>=||w||∗||r||∗cos(w,r)
线性判别函数 g(x) 是特征空间中某点 x 到超平面的距离的一种线性度量。
超平面的性质:
1.
2. ||r||=g(x)||w|| 。证明如开始。
3. 原点到超平面 H 距离
4. 若 w0>0 ,则超平面在原点正侧;否则反之。若 w0=0 ,则超平面通过原点。
结论:
1. 超平面的方向由 w 确定。
2. 超平面的位置由
3. 超平面 g(x) 正比于点 x 到超平面