机器学习问与答（七）：最近邻学习

问题一：

还有哪些消极学习的机器学习算法？

KNN是使用最多的消极学习的机器学习算法。

此外还有：
Case-based reasoning（案例推理）：是一种类比推理方法，它提供了一种近似人类思维模型的建造专家系统的新的方法学，这与人对自然问题的求解相一致。它强调这样的思想：人类在解决问题时，常常回忆过去积累下来的类似情况的处理，通过对过去类似情况处理的适当修改来解决新的问题。过去的类似情况及其处理技术被称之为案例(CASE)。过去的案例还可以用来评价新的问题及新问题的求解方案，并且对可能的错误进行预防。运用这一基本思想进行推理被称为CBR技术。
Locally weighted regression（局部加权回归）：线性回归的一个问题就是欠拟合，将不能取得很好的预测效果。因为它是具有最小均方误差的无偏估计。解决这个问题的方法就是允许在估计中一些偏差。其中一个非常有效的方法就是局部加权线性回归（LWLR）。

问题二：

分别了解一下这些距离的计算公式。

有下面三篇关于距离度量的博文可以参考。

欧式距离、标准化欧式距离、马氏距离、余弦距离
聚类之距离计算及Python实现
机器学习——几种距离度量方法比较

Euclidean距离：即欧氏距离/欧几里得距离
指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。

Manhattan距离：即曼哈顿距离
在欧几里德空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。

Overlap Metric距离（OM距离）：即重叠度量距离
没查到相关资料，希望有高人指点！

Value Difference Metric距离（VDM距离）

Heterogeneous Euclidean-Overlap Metric(HEOM)距离
由欧氏距离和Overlap Metric距离异构而成

Heterogeneous Value Difference Metric（HVDM）距离
由欧式距离和Value Difference Metric距离异构而成

问题三：

了解一下KD-Tree相关知识

详见这篇博文：

KD-Tree算法

问题四：

基于数据的自动学习方法是指哪些方法？

K值的选择会对K近邻法的结果产生重大影响。
如果K值选择较小，就相当于用较小的领域中的训练实例进行预测，“学习”的近似误差会减小，只有与输入实例较近的训练实例才会对预测起作用，但确定是估计误差回增大。预测结果会对近邻的实例点非常敏感，如果近邻的实例点恰巧是噪声，预测就会出错。
相反如果K值选择较大，就相当于用较大的领域中的训练实例进行预测，近似误差会增大，但估计误差会减小。
特例，如果K=N，那么无论输入什么实例，都会简单的预测为训练实例中最多的类，这是的模型就没有意义了，丢失了训练实例中的大量有用信息。
在应用中，我们一般取一个较小的K值，通常采用交叉验证法来选取最优的K值。
来源：【机器学习】k-近邻算法——距离度量、k值选择以及分类决策规则