本文介绍了k-近邻(k-NN)算法的基本概念，包括距离度量如欧式距离、曼哈顿距离、L∞距离和马氏距离。讨论了K值选择对学习误差的影响，以及k-NN算法的过拟合问题。还提到了Kd树作为数据结构在k-NN搜索中的应用，以及如何利用Kd树进行最近邻搜索，平均计算复杂度为O(logN)。
《统计学习方法（第二版）》李航 读书笔记 （6）
k-近邻算法，习题3
k-nearest neighbor k-NN是一种基本分类与回归方法。输入为实例的特征向量，对应特征空间中的点；输出为实例的类别，可以取多类。K近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。K近邻法没有显式的学习过程
算法3.1 k近邻法
- 根据给定的距离度量，在训练集T中找出与x最邻近的k个点，涵盖这k个点的x的邻域记作Nk(x);
- 在Nk(x)中根据分类决策规则（如多数表决）决定x的类别y
特征空间中，对每个训练实例点xi，距离该点比其他点更近的所有点组成一个区域，叫作单元（cell）。最近邻法将实例xi的类yi作为其单元中所有点的类标记（class label）
最低0.47元/天 解锁文章
374
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
