Fisher线性判别中散度矩阵的表现形式可以改写,类内散度:
Sw=∑i=1c∑j:yj=i(xj−μi)(xj−μi)T=12∑i,jA(w)ij(xi−xj)(xi−xj)T
S
w
=
∑
i
=
1
c
∑
j
:
y
j
=
i
(
x
j
−
μ
i
)
(
x
j
−
μ
i
)
T
=
1
2
∑
i
,
j
A
i
j
(
w
)
(
x
i
−
x
j
)
(
x
i
−
x
j
)
T
其中, μi=1ni∑j:yj=ixj μ i = 1 n i ∑ j : y j = i x j
A(w)ij={1nk,0,if yi=yj=kif yi≠yj
A
i
j
(
w
)
=
{
1
n
k
,
if
y
i
=
y
j
=
k
0
,
if
y
i
≠
y
j
而类间散度为:
Sb=∑i=1cni(μi−μ)(μi−μ))T=12∑i,jnA(b)ij(xi−xj)(xi−xj)T
S
b
=
∑
i
=
1
c
n
i
(
μ
i
−
μ
)
(
μ
i
−
μ
)
)
T
=
1
2
∑
i
,
j
n
A
i
j
(
b
)
(
x
i
−
x
j
)
(
x
i
−
x
j
)
T
其中,
μ=1n∑i=1nxj
μ
=
1
n
∑
i
=
1
n
x
j
A(b)ij={1n−1nk,1n,if yi=yj=kif yi≠yj
A
i
j
(
b
)
=
{
1
n
−
1
n
k
,
if
y
i
=
y
j
=
k
1
n
,
if
y
i
≠
y
j
证明过程如下。
首先证明类内散度 Sw S w :
而对于另一种表达:
因此,有公式(1)和(2)可知,两者相等,那么类内散度矩阵 Sw S w 的改写得证!
接下来证明类内散度矩阵:
而对于另一种表达:
而公式(4)的前半部分为:
而公式(4)的后半部分为:
那么,根据公式(3)(5)(6)则有
那么,根据公式(3)(7)可知,两公式相等,也即得证。
而在论文 M. Sugiyama, Local Fisher Discriminant Analysis for Supervised Dimensionality Reduction, ICML, 2006也对这个问题进行了阐述和证明。在该论文中,是直接由通常的一般式推导至改写式,证明过程为:
证明中同样用到了 xi和xj x i 和 x j 的等价性。