多维缩放MDS
多维缩放(Multiple Dimensional Scaling,MDS)
问题形式化:
- 给定空间中任意两个点的距离(pairwise distances ), 点的精确坐标和维度是未知的.
- 我们希望将这些点嵌入到一个低维的空间中,使得新的空间中点对之间的距离和原始空间中的距离尽可能接近.
基本思想:
d ′ d' d′空间的欧式距离等于原始空间的欧式距离
∣ ∣ z i − z j ∣ ∣ = d i s t i j , d i s t i j = D i j ||z_i - z_j|| = dist_{ij},dist{ij} = D_{ij} ∣∣zi−zj∣∣=distij,distij=Dij
推导
令 B = Z T Z ∈ R m × m , b i j = z i T z j B=Z^TZ\in R^{m\times m}, b_{ij}=z_i^Tz_j B=ZTZ∈Rm×m,bij=ziTzj
d i s t i j 2 = ∣ ∣ z i ∣ ∣ 2 + ∣ ∣ z j ∣ ∣ 2 − 2 z i T z j = b i i + b j j − 2 b i j dist_{ij}^2 = ||z_i||^2 + ||z_j||^2 - 2z_i^Tz_j = b_{ii} + b_{jj} - 2b_{ij} distij2=∣∣zi∣∣2+∣∣zj∣∣2−2ziTzj=bii+bjj−2bij
假定 Z Z Z已经标准化(中心为0), ∑ i = 1 m z i = 0 \sum_{i=1}^mz_i=0 ∑i=1mzi=0,用 D D