knn算法

最新推荐文章于 2024-11-02 00:52:06 发布

ErrorMaker...

最新推荐文章于 2024-11-02 00:52:06 发布

阅读量202

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/qq_22667507/article/details/116057711

版权

机器学习专栏收录该内容

12 篇文章 0 订阅

订阅专栏

本文介绍了使用欧式距离找出最近的k个训练样本中分类最多的标签的K-Nearest Neighbors (KNN)算法。讲解了如何定义和初始化KNN类，以及如何使用sklearn库进行KNN模型训练和预测。重点在于k值的选择和预测阶段的决策过程。

摘要由CSDN通过智能技术生成

原理：返回欧式距离中最近的k个点中分类数目最多的那个label

#定义一个knn函数：
class Knnclassify:
    def __init__(self,k):
        assert k>0,'error'
        self.k = k
        self._xtrain = None
        self._ytrain = None
    
    def fit(self,xdata,ydata):
        assert xdata.shape[0] == ydata.shape[0],'error'
        assert self.k <= xdata.shape[0],'error'
        
        self._xtrain = xdata
        self._ytrain = ydata
        
        return self
    
    def predict(self,target):
        assert self._xtrain is not None and self._ytrain is not None,'error'
        assert target.shape[1] == self._xtrain.shape[1],'error'
        
        res = [self._predict(i) for i in target]
        return np.array(res)
    
    def _predict(self,x):
        assert x.shape[0] == self._xtrain.shape[1],'error'
        dis = [sqrt(np.sum((i-x)**2)) for i in x_train]
        nearest = np.argsort(dis) 
        top = [y_train[j] for j in nearest[:k]]
        return Counter(top).most_common(1)[0][0]
    
    def __repr__(self):
        return f'knn(k={self.k})'

调用sklearn中封装好的knn：

from sklearn.neighbors import KNeighborsClassifier
#传入k的值
knn_classifier = KNeighborsClassifier(n_neighbors=6)
#传入数据集进行拟合
knn_classifier.fit(x_train,y_train)

#传入目标值，必须是一个矩阵形式
x = np.array([])
knn_classifier.predict(x.reshape(1,-1))