2.1 引言
某些情况下，分类器等价于线性判别函数，其优点是简单和可计算性。
2.2 线性判别函数和决策超平面
l
l
l维空间中，各自的决策超曲面是一个超平面：
g
(
x
)
=
w
T
x
+
w
0
=
0
g(x)=w^Tx+w_0=0
g(x)=wTx+w0=0
有：
d
=
∣
w
0
∣
w
1
2
+
w
2
2
d=\frac{|w_0|}{\sqrt{w_1^2+w_2^2}}
d=w12+w22∣w0∣
z
=
∣
g
(
x
)
∣
w
1
2
+
w
2
2
z=\frac{|g(x)|}{\sqrt{w_1^2+w_2^2}}
z=w12+w22∣g(x)∣
∣
g
(
x
)
∣
|g(x)|
∣g(x)∣是x到决策超平面的欧几里得距离
2.3感知器算法
感知器代价函数：
J
(
w
)
=
∑
x
∈
Y
(
δ
x
w
T
x
)
J(w)=\sum_{x\in Y}(\delta_x w^Tx)
J(w)=x∈Y∑(δxwTx)
利用梯度下降方法设计迭代算法：
w
(
t
+
1
)
=
w
(
t
)
−
ρ
t
∂
J
(
w
)
∂
w
∣
w
=
w
(
t
)
w(t+1) = w(t)-\rho_t \frac{∂J(w)}{∂w}|_{w=w(t)}
w(t+1)=w(t)−ρt∂w∂J(w)∣w=w(t)
∂
J
(
w
)
∂
w
=
∑
x
∈
Y
δ
x
x
\frac{∂J(w)}{∂w}=\sum_{x\in Y}\delta_x x
∂w∂J(w)=x∈Y∑δxx
整合上面两式得：
w
(
t
+
1
)
=
w
(
t
)
−
ρ
t
∑
x
∈
Y
δ
x
x
w(t+1) = w(t)-\rho_t\sum_{x\in Y}\delta_x x
w(t+1)=w(t)−ρtx∈Y∑δxx
伪代码如下：
- 随机选择 w ( 0 ) w(0) w(0)
- 选择 ρ 0 \rho_0 ρ0
- t=0
- 重复
–Y=0
– For i=N to N
–IF δ x i w ( t ) x i ≥ 0 \delta_{x_i}w(t)x_i ≥ 0 δxiw(t)xi≥0 then Y=Y∪{ x i x_i xi}
– End {For}
–w(t+1)=w(t)- ρ t ∑ x ∈ Y δ x x \rho_t\sum_{x\in Y}\delta_x x ρt∑x∈Yδxx
–调整 ρ t \rho_t ρt
–t=t+1 - 直到Y=0
2.4最小二乘法
2.4.1 均方误差估计
计算权向量，使期望值和真实的输出值之间的均方误差最小化，即：
J
(
w
)
=
E
[
y
−
x
T
w
∣
2
]
J(w)=E[y-x^Tw|^2]
J(w)=E[y−xTw∣2]
w
^
=
a
r
g
min
w
J
(
w
)
\hat{w} = arg \min_w \ {J(w)}
w^=argwmin J(w)
即：
J
(
w
)
=
P
(
w
1
)
∫
(
1
−
x
T
w
)
2
P
(
x
∣
w
1
)
d
x
+
P
(
w
2
)
∫
(
1
+
x
T
w
)
2
d
x
J(w)=P(w_1)\int(1-x^Tw)^2P(x|w_1)d_x+P(w_2)\int(1+x^Tw)^2dx
J(w)=P(w1)∫(1−xTw)2P(x∣w1)dx+P(w2)∫(1+xTw)2dx
最小化得：
∂
J
(
w
)
∂
w
=
2
E
[
x
(
y
−
x
T
w
]
=
0
\frac{∂J(w)}{∂w}=2E[x(y-x^Tw]=0
∂w∂J(w)=2E[x(y−xTw]=0
则
w
^
=
R
x
−
1
E
[
x
y
]
\hat{w}=R_x^{-1}E[xy]
w^=Rx−1E[xy]
R
x
=
(
E
[
x
1
x
1
]
⋯
E
[
x
1
x
l
]
E
[
x
2
x
1
]
⋯
E
[
x
2
x
l
]
⋮
⋮
⋮
E
[
x
l
x
1
]
⋯
E
[
x
l
x
l
]
)
R_x= \begin{pmatrix} E[x_1x_1]& \cdots &E[x_1x_l] \\ E[x_2x_1]& \cdots &E[x_2x_l] \\ \vdots & \vdots & \vdots \\ E[x_lx_1]& \cdots &E[x_lx_l] \\ \end{pmatrix}
Rx=⎝⎜⎜⎜⎛E[x1x1]E[x2x1]⋮E[xlx1]⋯⋯⋮⋯E[x1xl]E[x2xl]⋮E[xlxl]⎠⎟⎟⎟⎞
称为相关或自相关矩阵，若各自的均值为0，则为协方差矩阵。
扫一扫
780
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
