分类的故事之K-近邻算法（KNN）

分类的故事之K-近邻算法（KNN）

文章同步更新在公众号“肥宅的日杂铺”

KNN(k-Nearest Neighbor)，是著名的模式识别统计学方法，也最简单的机器学习算法之一。其中心思想为近朱者赤，近墨者黑（相似即为同类）。

设计思路

KNN是一种通过测量不同特征值之间的距离进行分类的算法，其分类思路为：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，（K通常为≤20的整数）。

举个栗子

已知样本的类别信息如下图，同类样品已成功抱团：

此时，有位不速之客杀了进来：

提问：这位新的小伙伴想抱团一共分几步呢？其实，超简单der~让我们来数一数，1，2，3，4……
Step1：计算新伙伴和其他所有小伙伴的距离（欧几里得距离/曼哈顿距离）；
Step2：选取恰当的K值（