knn算法详解（附练习代码）

最新推荐文章于 2024-08-15 21:36:27 发布
最新推荐文章于 2024-08-15 21:36:27 发布
阅读量1.4k 收藏 4
点赞数 4
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x6x6x6x/article/details/104483453
版权

KNN算法

KNN算法是一个用于对数据样本进行分类预测的算法

KNN算法就是根据样本之间的距离，来对新的样本来进行分类

计算过程：将新的样本点，与历史样本点中的每一个样本点进行距离的计算 取前k个距离最近的样本点的分类结果 取分类结果频次最好的二分类项作为新样本的分类。

网络搜索：手动指定不同参数的检索范围，通过网络搜索来寻找最优的超参数或者模型参数

K就表示要取离新样本最近的K个样本进行分类决策

通常我们只提供已有数据的 90 %作为训练样本来训练分类器 ,而使用其余的 10% 数据去测试分类器(测试数据占总数据比例不同也会影响到算法的测试结果),且数据划分是随机的

机械学习中的两种类型参数

  1. 超参数：

在训练之前，需要设置的参数

​ k值

​ 距离权重

​ P值

​ 对于寻找最优超参数的过程，称之为网络搜索

  1. 模型参数

    通过样本训练处的参数

数据归一化：将所有数据的量纲映射到同一尺度下。

​ 1.最值归一化：把所有数据映射到0~1上（数据边界确定，例如学生分数，最低0，最高1）

​ 2.均值方差归一化:把数据归一到均值为0，方差为1的分布中（数据分布没有明确边界，有可能存在极端数据值）

​ 优点：

简单，易于理解，易于实现，无需参数估计，无需训练;
对异常值不敏感（个别噪音数据对结果的影响不是很大）;
适合对稀有事件进行分类;
适合于多分类问题(multi-modal,对象具有多个类别标签)，KNN要比SVM表现要好;

​ 缺点：

​ 对测试样本分类时的计算量大，内存开销大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本;

​ 可解释性差，无法告诉你哪个变量更重要，无法给出决策树那样的规则;

​ K值的选择：最大的缺点是当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。该算法只计算“最近的”邻居样本，某一类的样本数量很大，那么或者这类样本并不接近目标样本，或者这类样本很靠近目标样本。无论怎样，数量并不能影响运行结果。可以采用权值的方法（和该样本距离小的邻居权值大）来改进;

​ KNN是一种消极学习方法、懒惰算法。

	KNN算法是一个用于对数据样本进行分类预测的算法
#KNN算法
import numpy as np
import matplotlib.pyplot as plt

a_x = [np.random.random() * 10 for i in range(10)]
a_y = [np.random.random() * 10 for i in range(10)]

b_x = [np.random.random() * 10 for i in range(10)]
b_y = [np.random.random() * 10 for i in range(10)]

plt.scatter(a_x,a_y,color = 'r' , marker='+')
plt.scatter(b_x,b_y,color = 'b' , marker='o')

plt.show()

#新增样本
new_data = [np.random.random() * 10 for i in range(10)]

plt.scatter(a_x,a_y,color = 'r' , marker='+')

plt.scatter(b_x,b_y,color = 'b' , marker='o')

plt.scatter(new_data[0],new_data[1],color='g')

plt.show()

#KNN就是根据样本点之间的距离进行分类
#K就表示要取离新样本点最近的K个样本进行分类决策


#实现
train_data = np.array([np.random.random() * 10 for i in range(10)])
train_label = np.array([0,0,0,0,0,1,1,1,1,1])

print('train_data:',train_data)

print('train_label:',train_label)

test_data = [np.random.random() * 10]

distances = []
#计算两个样本之间的距离
for data in train_data:
    distances.append(np.sqrt(np.sum((data - 				test_data)**2)))

#首先对样本进行从小到大的排序，并返回排序后的，原始数据的索引
nearest = np.array(distances).argsort()
K = 3
predict_label = [train_label[i] for i in nearest[:K]]

print(predict_label)

from collections import Counter
votes = Counter(predict_label)

​```
result = votes.most_common()[0][0]
​```

print(result)

tr_data = np.array([np.random.random() * 10 for i in range(20)])
tr_data = tr_data.reshape((10,2))

print(tr_data)

n_data = np.array([np.random.random() * 10,np.random.random() * 10])

print(n_data)

axis = 1 ,是以行为单位 ， 如果不加就会将所有的数进行求和

s = np.sqrt(np.sum((tr_data - n_data)**2,axis = 1)).argsort()

print(s)

pre_label = [train_label[i] for i in s[:K]]

res = Counter(pre_label).most_common()[0][0]

print(res)

plt.scatter(tr_data[train_label==0,0] , tr_data[train_label==0,1],color = 'r' , marker='+')

plt.scatter(tr_data[train_label==1,0] , tr_data[train_label==1,1],color = 'r' , marker='+')

plt.scatter(n_data[0],n_data[1],color='g')

plt.show()

from knn import KNNClassfer

from sklean.neighbors import KNeighborsClassifier

knn_clf = KNNClassfer(k = 3)
knn_clf.fit(tr_data,train_label)
x = knn_clf.predit(n_data)
print(x)


封装的KNN算法
import numpy as np
from collections import Counter
class KNNClassfer:

    def __init__(self, k=3):
        self.k = k
    
    def fit(self, train_data, train_label):
        self.train_data = train_data
        self.train_label = train_label
    
    def predit(self, test_data):
        predit_label = [self.train_label[i] for i in np.sqrt(np.sum((self.train_data - test_data)**2,axis = 1)).argsort()[:self.k]]
        return Counter(predit_label).most_common()[0][0]


数据集分割
from sklearn.model_selection import trai_test_spit

#加载数据
x = iris.data

#查看类别的目标值
y = iris.target

#打乱下标
np.random.permutation(len(x))

#随机数种子,以666作为种子随机，是保证以后每次随机结果都是一样的
train_data, test_data, train_label, test_label = train_test_split(x , y, test_size = 0.2, random_state=666)

模型训练
from sklearn.metrics import accuracy_score

accuracy_score(test_label, predict_label)
knn_clf.score(test_data, test_label)


超参数：在模型运行前需要决定的参数
模型参数：算法过程中学习的参数

KNN中的超参数
	1.K值
	2.p值
	3.距离权重

找到最好的K值
best_k = 0
best_score = 0.0
for k in range(1,11):
    knn_clf = KNeighborsClassifier(n_neighbors = k)
    knn_clf.fit(train_data, train_label)
    score = knn_clf.score(test_data, test_label)
    if score > best_score:
        best_score = score
        best_k = k

print('best_k:',best_k)
print('best_score:',best_score) 

距离权重
best_k = 0
best_method = ''
best_score = 0.0
for method in ['uniform','distance']:
    for k in range(1,11):
        knn_clf = KNeighborsClassifier(n_neighbors = k)
        knn_clf.fit(train_data, train_label)
        score = knn_clf.score(test_data, test_label)
        if score > best_score:
            best_method = method
            best_score = score
            best_k = k

print('best_k:',best_k)
print('best_score:',best_score)
print('best_method:',best_method)

寻找最好的P参数
best_k = 0
best_p = 0
best_score = 0.0
for k in range(1,11):
    for p in range(1,6):
        knn_clf = KNeighborsClassifier(n_neighbors = k, weights='distance',p=p)
        knn_clf.fit(train_data, train_label)
        score = knn_clf.score(test_data, test_label)
        if score > best_score:
            best_p = p
            best_score = score
            best_k = k

print('best_k:',best_k)
print('best_score:',best_score)
print('best_p:',best_p)

网格搜索
grid_param = [
    {
        "weight":['uniform'],
        "n_neighbors":[i for i in range(1,11)]
    },
    {
        "weight":['distance'],
        "n_neighbors":[i for i in range(1,11)],
        "p":[i for i in range(1,6)]
    }
    
]


最值归一化

x_scaler = (x - np.min(x)) / (np.max(x) - np.min(x))

向量最值归一化
X = np.random.randint(1,100,200)
X = np.array(X ,dtype='float')
X = X.reshape(100,2)
#X[:,0] 是对第1列进行操作
X[:,0] = (X[:,0] - np.min(X[:,0])) /(np.max(X[:,0]) - np.min(X[:,0]))
X[:,1] = (X[:,1] - np.min(X[:,1])) /(np.max(X[:,1]) - np.min(X[:,1]))


均值方差归一化
(std_x - np.mean(std_x)) / np.var(std_x)


sklearn的归一化
from sklearn.preprocessing import StandardScaler

先进行归一化，再进行模型计算
std_train_data = std_scaler.transform(train_data)
std_test_data = std_scaler.transform(test_data)
6x6x6x
关注
KNN算法 分类项目练习
weixin_38764818的博客
05-24 801
from sklearn.datasets import make_blobs from sklearn.neighbors import KNeighborsClassifier import matplotlib.pyplot as plt import numpy as np #中心点 centers = [[-2,2],[2,2],[0,4]] x,y = make_blobs(n_samples=60,centers=centers,cluster_std=0.6) plt.figure(figs
python knn代码详解_knn算法详解（附练习代码）
weixin_31002509的博客
01-28 2378
KNN算法KNN算法是一个用于对数据样本进行分类预测的算法KNN算法就是根据样本之间的距离，来对新的样本来进行分类计算过程：将新的样本点，与历史样本点中的每一个样本点进行距离的计算 取前k个距离最近的样本点的分类结果 取分类结果频次最好的二分类项作为新样本的分类。网络搜索：手动指定不同参数的检索范围，通过网络搜索来寻找最优的超参数或者模型参数K就表示要取离新样本最近的K个样本进行分类决策通常我们...
knn算法实现的数字识别包括训练集和测试集和代码
11-18
knn算法实现的数字识别包括 训练集 和 测试集 以及代码
KNN算法代码练习
cuijiekun的博客
02-16 1062
KNN算法实践
KNN算法的运用案例
最新发布
2301_77698138的博客
08-15 1223
KNN（K-Nearest Neighbors，K最近邻）算法是一种基本的分类与回归方法。尽管它理论上可以应用于回归问题，但在实践中更常用于分类任务。KNN算法的核心思想是：给定一个测试样本，基于某种距离度量找出训练集中与其最靠近的K个样本，然后基于这K个“邻居”的信息来进行预测。对于分类任务，通常选择这K个样本中出现最多的类别作为预测结果；对于回归任务，则可以将这K个样本的实值输出做平均来作为预测值。
kNN算法题.doc
08-11
编写算法计算一个任意N边型，分成k段，求K点坐标
简单的knn练习
01-03
简单的knn练习，测试数据是Iris，利用的是10次10折交叉进行测试
机器学习入门 —— 超级详细的KNN算法学习笔记、KNN算法的三要素、KNN算法的优缺点
2401_84424257的博客
04-19 863
K近邻 (k-Nearest Neighbors， KNN) 算法是一种分类与回归算法，是机器学习算法中最基础、最简单的算法之一， 1968年由 Cover和 Hart 提出， 应用场景有。
python机器学习-k近邻（KNN）算法实例
黄俊文的博客
08-23 9148
本篇主要是自己复习和总结机器学习算法中最基础入门的——k近邻（KNN）算法，内容由网上百度与摘抄唐宇迪老师的讲义。 k近邻介绍 k近邻参数 官网例子 k近邻实际应用 房租价格预测 k近邻介绍 ——K最近邻(k-Nearest Neighbor，KNN)，k近邻算法可以应用于分类场景与回归场景，是一个理论上比较不成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如...
KNN算法新手练习代码
04-22
适合新手练习 学习KNN算法 程序是由python3写成，包含所需的数据集。可运行
KNN的简单练习
weixin_42975688的博客
04-07 287
KNN的简单练习 import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report,confusion_matrix import operator import random def knn(x_test,x_data,y_data,k): x_data_size=
KNN算法代码详解-----机器学习实战
myhome908的博客
04-23 406
import numpy as np def classify0(inX,dataSet,labels,k): #shape[0]表示行数 dataSetSize = dataSet.shape[0]#表示数据集的行数 # tile(a,x): x是控制a重复几次的，结果是一个一维数组 # tile(a,(x,y))： 结果是一个二维矩阵，其中行数为x，列...
KNN算法详解及代码实现
纸城的博客
03-02 1063
KNN算法全称：K—NearestNeighbor，核心思想是，离待分类点最近的K个点是什么类，这个待分类点就是什么类。也就是，物以类聚人以群分，即使你被分错类了那也算你是那个类的人了，所以要保证自己周围是一个自己满意的朋友圈。呸说多了。 首先我们要知道一些Numpy的调用和矩阵计算方法，这里再举两个例子，详细的在前面文章中已经讲过了，想复习可以去翻（转到）。 下面正式进入讲解。 首先我们拿一个矩阵作为一些训练数据， ...
机器学习打卡练习之KNN算法
NONAME7246的博客
11-16 602
kNN算法，又名k邻近算法，简单的来说，就是通过测量不同特征值之间距离的方法进行分类。 算法的原理十分简单，举个例子，假设我们要通过”打斗镜头数“和接吻镜头数”这两个特征把电影分为爱情片和动作片，我们可以用一下步骤。 建立坐标系，其中x轴为打斗镜头数，y轴为接吻镜头数。 将训练集中所有的电影以点的形式画在坐标系中。 将新电影画在坐标系中。 测量新电影与其他电影之间的距离，并找出距离最近的...
Python数据分析：KNN算法(k-近邻算法)
yhlp的博客
01-10 878
KNN算法是一种数据分类算法，以距离样本k个最邻近数据的类别代表样本的类别，因此也叫作k-近邻算法。KNN算法是数据挖掘中最简单的方法之一，大致可分为以下几个步骤： 训练数据：原数据集中所有数据类别的数据。 测试数据：我们将要拿来测试的数据样本。 处理数据 我们得到的测试数据，通常和训练数据是不同维的，这时候就需要我们将测试数据升维到和训练数据相同，python的numpy中自带了一个tile(...
【机器学习】——习题8：KNN
mxyjsu2021的博客
10-27 2106
DA正确答案：消极；消极学习正确答案：(1) 5(2) 7正确答案：13正确答案:对。
机器学习——KNN算法实战
weixin_74340055的博客
04-01 1976
本文主要介绍博主学习完机器学习的第一个算法——KNN之后的实验和心得，主要包括对鸢尾花数据集进行分析和运用KNN算法划分鸢尾花种类的过程。因为是第一次实验，所以是根据《机器学习实战》这本书上的代码实现过程作为参考，并没有调用sklearn库来直接运用KNN算法模型。这是第一次机器学习的实验，有很多机器学习的概念都不是很清楚，对Python也不是特别熟悉，所以整个过程还是比较困难的，但是算是自己将整个代码敲下来了，也学到了很多，希望下次实验能更加得心应手，能学到更多机器学习的知识，并且增强自己的动手实践能力。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值