线性判别函数的基本概念
线性判别函数的一般表达式
g ( x ) = W T X + W 0 g(x)=W^TX+W_0 g(x)=WTX+W0
其中： X − − d X--d X−−d维特征向量
标识为： x T = [ x 1 , x 2 , . . . , x d ] T x^T=[x_1,x_2,...,x_d]^T xT=[x1,x2,...,xd]T
W − − W-- W−−权向量
表示为： w T = [ w 1 , w 2 , . . . , w d ] T w^T=[w_1,w_2,...,w_d]^T wT=[w1,w2,...,wd]T
W 0 − − W_0-- W0−−常数，称为阈值权
分类时，c类一般会对应c个这样的判别函数
两类问题的决策规则
判别函数
g ( x ) = g 1 ( x ) − g 2 ( x ) g(x)=g1(x)-g2(x) g(x)=g1(x)−g2(x)
决策规则
g ( x ) = g 1 ( x ) − g 2 ( x ) { > → ω 1 = 0 → 或 拒 绝 或 分 到 任 一 类 等 待 处 理 < → ω 2 g(x)=g_1(x)-g_2(x)\begin{cases} > \rightarrow \omega_1\\ =0 \rightarrow 或拒绝 或分到任一类等待处理 \\ < \rightarrow \omega_2 \end{cases} g(x)=g1(x)−g2(x)⎩⎪⎨⎪⎧>→ω1=0→或拒绝或分到任一类等待处理<→ω2
决策面
线性判别函数 g ( x ) = 0 g(x)=0 g(x)=0定义了一个超平面 H H H，称为决策面
超平面的表达式
假设 x 1 x1 x1和 x 2 x2 x2都在决策面 H H H上,则有
w T x 1 + w 0 = w T x 2 + w 0 ⇒ w T ( x 1 − x 2 ) = 0 w^Tx_1+w_0=w^Tx_2+w_0 \Rightarrow w^T(x_1-x_2)=0 wTx1+w0=wTx2+w0⇒wT(x1−x2)=0
超平面的性质
x = x ρ + r w ∥ w ∥ x=x_\rho + r\frac{w}{\parallel w \parallel} x=xρ+r∥w∥w
式子中
x ρ − − x 在 H ( 超 平 面 ) 上 的 投 影 x_\rho--x在H(超平面)上的投影 xρ−−x在H(超平面)上的投影
r − − x 到 H 的 垂 直 距 离 r--x到H的垂直距离 r−−x到H的垂直距离
代入公式
g ( x ) = w T ( x ρ + r w ∥ w ∥ ) + w 0 = w T x ρ + w 0 + r w T w ∥ w ∥ = r ∥ w ∥ g(x)=w^T(x_\rho+ r\frac{w}{\parallel w \parallel})+w_0=w^T x_\rho+w_0+r\frac{w^T w}{\parallel w \parallel}=r\parallel w \parallel g(x)=wT(xρ+r∥w∥w)+w0=wTxρ+w0+r∥w∥wTw=r∥w∥
这时由于 x ρ x_\rho xρ在 H H H上所以
w T x ρ + w 0 = 0 w^Tx_\rho +w_0=0 wTxρ+w0=0
r = g ( x ) ∥ w ∥ r=\frac{g(x)}{\parallel w \parallel} r=∥w∥g(x)
若x为原点，则 g ( x ) = w 0 g(x)=w_0 g(x)=w0为原点到超平面之间的距离
若 w 0 > 0 w_0>0 w0>0，则原点在 H H H的正侧
若 w 0 < 0 w_0<0 w0<0，则原点在 H H H的负侧
若 w 0 = 0 w_0=0 w0=0，则 H H H通过原点，具有齐次形式，超平面过原点
超平面的性质
w 是 H 的 法 向 量 w是H的法向量 w是H的法向量
超平面 H H H把特征空间分成两个半空间，分别对应 w 1 w_1 w1类的决策域 R 1 R1 R1和 w 1 w_1 w1类的决策域 R 2 R2
最低0.47元/天 解锁文章
592
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
