机器学习之KNN算法

K最近邻算法

闵可夫斯距离：

曼哈顿距离中：q为1，即作为绝对值运算。

d(i,j)=|X1-X2|+|Y1-Y2|.

欧式距离：q为2。

切比雪夫距离：q趋近于无穷，找到A-B的最短步数 ，红色方块为行走步骤

在这些距离中q越大，差异值越大得维度对最终距离的影响越大

 从例子中我们可以看出闵可夫斯距离是由AB两个向量，他们之间的差值为其向量对应的维度的差值。

/**************************************************************************************************************************************************************/

/*********************************************************************************马氏距离*****************************************************************/

/*************************************************************************************************************************************************************/

马氏距离考虑到了数据分布

在如图所示的两个概率分布中，对于相交点属于哪个概率分布，这就是马氏距离要考虑的。

如果按前面的闵可夫斯的算法表达，是计算出该点与两个概率分布均值点的距离，距离小则认为是属于哪个概率分布。

但马氏距离完全不是这一的计算方法，马氏距离（属于分布式的计算方法）通过确定该点落在两个概率分布中的概率来计算，它属于哪个概率分布。由图可知该点落在右边的概率要大，所以该点属于右边。

闵可夫斯距离实现：