ESL学习之kNN

在利用kNN进行分类时，我们是选择一个点的k个最近的neighbor的一些属性来估计当前点的属性。

kNN的一个局限性就在于当参数空间的维数p增大后，这k个neighbor更趋近于分布在离当前点较远的那部分。意思就是在一个半径为1的p维球体中，若存在k个点，那么这k个点更趋近于这个球体的边缘，这是为什么呢。

作为一个大概的理解，考虑在半径为0.5的地方，那么0.5半径以内的球体体积为exp（0.5，p），由于整体球体体积为1，故0.5半径内所占整体球体的体积会随着p的增大而逐渐趋向于0，所以这k个点更趋向于分布在0.5以及更远的地方。

下面是具体的数学表达。