一、原理
K最近邻算法(K-Nearest Neighbor, KNN)是最基本的分类算法,其基本原理是:从最近的K个邻居(样本)中,选择出现次数最多的类别作为判定类别。K最近邻算法可以理解为是一个分类算法,常用于标签的预测,如性别。
实现KNN算法核心的一般思路:
- 相似度计算——计算未知样本和每个训练样本的距离;
- 排序——按照距离的递增关系排序;
- 统计标签——得到距离最小的前K个样本,统计K最近邻样本中每个样本出现的次数;
- 预测标签——选择出现频率最高的类标号作为未知样本的类标号;
K值的选择是选择统计的样本数量,K值得选择会对KNN算法产生较大得影响。
- 如果K值较小,则意味着:只有当需要进行预测的样本和训练的样本较接近时,才能有较好的效果;
- 如果K值较大,则意味着:算法分类的近似误差增大。这时,与输入样本距离较远的样本也会对结果产生作用。
在实际上,K值一般选择较小的数,也可以选择交叉验证的方法寻找最优K值。
二、实例Python实现
利用KNN算法实现性别判定:很多时候,用户在注册的时候,没有填写性别,这个时候,可以通过KNN预测。
import numpy as np
class KNN:
def __init__(self, k):
self.k = k
def createData(self):
features = np.arr