4 - MDS
MDS全称”Multidimensional Scaling”,多维缩放。其主要思想就是给定一个原始空间的,原始样本两两之间的距离矩阵;期望能在新空间中找到一个新的样本特征矩阵,使得其新样本两两之间的距离矩阵与原始的距离矩阵相等。因为 d′≤d ,所以完成了降维的任务。
即假定有
m
个原始样本的距离矩阵为
ps:MDS大多都还是使用的欧式距离来作为样本之间的测量方法,更多的方法看下面的表4.1.
另
D′=X′TX′∈Rm×m
,其中
D′
为降维后样本的内积矩阵,
D′ij=x′Tix′j
,则有:
D2ij===||x′i−x′j||2||x′i||2+||x′j||2−2x′Tix′jD′ii+D′jj−2D′ij(4.1)
假设求得的降维后样本已经中心化了,即 ∑mix′=mμx′=0 ,则可以看出矩阵 D′ 的行之和等于列之和都为零,即
∑imD′ij=∑jmD′ij=0(4.2)
则4.2,4.1可得:
∑imD2ij===∑im(D′ii+D′jj−2D′ij)∑imD′ii+mD′jj−2∑imD′ijtr(D′)+mD′jj(4.3)
同理:
∑jmD2ij=tr(D′)+mD′ii(4.4)
则:
∑im∑jmD2ij===∑im(tr(D′)+mD′ii)mtr(D′)+∑immD′ii2mtr(D′)(4.5)
令:
D¯¯¯2i.=1m∑mjD2ij(4.6)
D¯¯¯2.j=1m∑miD2ij(4.7)
D¯¯¯2..=1m2∑mi∑mjD2ij(4.8)
由4.1-4.8得:
D′ij===−12(D2ij−D′ii−D′jj)−12⎡⎣D2ij−1m⎛⎝∑jmD2ij−12m∑im∑jmD2ij⎞⎠−1m⎛⎝∑imD2ij−12m∑im∑jmD2ij⎞⎠⎤⎦−12(D2ij−D¯¯¯2i.−D¯¯¯2.j+D¯¯¯2..)
从而可以计算得到降维后的样本距离矩阵 D′ 。
对矩阵 D′ 做特征值分解, D′=VΛVT ,其中 Λ=diag(λ1,λ2,...λd) 为特征值构成的对角矩阵,且按照从大到小排序, V 为特征向量矩阵,假设其中有 d∗ 个非零特征值,则构成对角矩阵 Λ∗=diag(λ1,λ2,...λd∗) ,令 V∗ 表示对应的特征向量矩阵,则 X′ 可得:
X′=Λ1/2∗VT∗∈Rd∗×m
距离测量 | 式 子 |
---|---|
欧式距离 | Drs={∑di(xri−xsi)2}1/2 |
权重欧式距离 | Drs={∑diwi(xri−xsi)2}1/2 |
马氏距离 | Drs={(xr−xs)TΣ−1(xr−xs)}1/2 |
City block测量 | Drs=∑di|xri−xsi| |
Minkowski测量 | Drs={∑diwi|xri−xsi|λ}1/λλ≥1 |
Canberra测量 | Drs=∑di|xri−xsi|xri+xsi |
Divergence | Drs=1d∑di(xri−xsi)2(xri+xsi)2 |
Bray-Curtis | Drs=1d∑di|xri−xsi|∑di(xri+xsi) |
Soergel | Drs=1d∑di|xri−xsi|∑dimax(xri,xsi) |
Bhattacharyya距离 | Drs=∑di((xri)−−−−√−(xsi)−−−−√)2−−−−−−−−−−−−−−−−−−−√ |
Wave-Hedges | Drs=∑di(1−min(xri,xsi)max(xri,xsi)) |
Angular separation | Drs=1−∑dixrixsi[∑dix2ri∑dix2si]1/2 |
Correlation | Drs=1−∑di(xri−x¯r)(xsi−x¯s)[∑di(xri−x¯r)2∑di(xsi−x¯s)2]1/2 |
5 - ICA
6 - LFA
7 - LPP
参考文献:
[] 周志华 机器学习
[] Michael A.A. Cox, Trevor F. Cox. Multidimensional Scaling