多维缩放（MDS）是一种数据降维技术，旨在保持数据点间的距离关系。通过将高维数据映射到低维空间，使新空间中的点对距离接近原始空间。算法包括问题形式化、推导和具体步骤，通过特征值分解实现降维，并用于机器学习场景。
多维缩放MDS
多维缩放(Multiple Dimensional Scaling，MDS)
问题形式化：
- 给定空间中任意两个点的距离(pairwise distances ), 点的精确坐标和维度是未知的.
- 我们希望将这些点嵌入到一个低维的空间中，使得新的空间中点对之间的距离和原始空间中的距离尽可能接近.
基本思想：
d ′ d' d′空间的欧式距离等于原始空间的欧式距离
∣ ∣ z i − z j ∣ ∣ = d i s t i j , d i s t i j = D i j ||z_i - z_j|| = dist_{ij},dist{ij} = D_{ij} ∣∣zi−zj∣∣=distij,distij=Dij
推导
令 B = Z T Z ∈ R m × m , b i j = z i T z j B=Z^TZ\in R^{m\times m}, b_{ij}=z_i^Tz_j B=ZTZ∈Rm×m,bij=ziTzj
d i s t i j 2 = ∣ ∣ z i ∣ ∣ 2 + ∣ ∣ z j ∣ ∣ 2 − 2 z i T z j = b i i + b j j − 2 b i j dist_{ij}^2 = ||z_i||^2 + ||z_j||^2 - 2z_i^Tz_j = b_{ii} + b_{jj} - 2b_{ij} distij2=∣∣zi∣∣2+∣∣zj∣∣2−2ziTzj=bii+bjj−2bij
假定 Z Z Z已经标准化(中心为0), ∑ i = 1 m z i = 0 \sum_{i=1}^mz_i=0 ∑i=1mzi=0，用 D D
最低0.47元/天 解锁文章
扫一扫
2326
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
