KNN的维度灾难

维度灾难

KNN中的维度灾难为，在高维空间，数据变得异常稀疏，这就使得即使是最近的邻居数据点（相对近而已），所需计算数据点之间的距离也变得异常得远：例如二维下两点间距离公式$\sqrt{(x1-x2{)}^2+(y1-y2{)}^2}$，而三维下又加一组变量，显然在距离上的变化变得更为敏感了。这导致了随着变量的增加，训练集所要求的数据量呈指数级的增长，计算量也随之变得异常大。
变量增加=维度增加，如果想要取得更好的效果，该维度下就要让数据更密集（即训练集更大），但如上图所示从起初的4个点到二维、三维下，需要将整个空间布满的点数成指数级增长，显然不可能有着么多图片供我们训练。