【机器学习笔记三】 K近邻法

一、k近邻算法

定义：K近邻算法是一种基本分类与回归方法。

思想：物以类聚、人以群分。

实现步骤：假设给定一个训练数据集（带标签的），根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。

k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为分类模型。

三个基本要素：k值的选择、距离度量、分类决策规则

k近邻算法的k：所选取的与实例x最邻近的点的个数

二、k近邻模型

1）距离度量
特征空间中两个实例点的距离是两个实例点相似程度的反映。

这里提到两种距离：欧氏距离、曼哈顿距离（街区距离）

2）k值的选择
k值的选择会对k近邻法的结果产生重大影响。


这句话仍有待理解。

三、k近邻法的实现：kd树（快速搜索k个最近邻点）

kd树是一种快速检索的数据结构，是二叉树，可以省去大部分数据点的搜索，减少搜索的计算量。

K近邻法的优缺点：

数值型数据可以理解为连续型数据。

K近邻应用于回归问题：可以根据新实例附近K个样本的特征值的均值（或众数、中位数）作为其预测值。