[机器学习]--KNN算法(K邻近算法)

最新推荐文章于 2024-10-19 12:46:24 发布
最新推荐文章于 2024-10-19 12:46:24 发布
阅读量1k 收藏 9
点赞数 10
文章标签： 机器学习 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46264149/article/details/141208723
版权

KNN (K-Nearest Neihbor,KNN)K近邻是机器学习算法中理论最简单,最好理解的算法,是一个
非常适合入门的算法,拥有如下特性:

  • 思想极度简单,应用数学知识少(近乎为零),对于很多不擅长数学的小伙伴十分友好
  • 虽然算法简单,但效果也不错

KNN算法原理

上图是每一个点都是一个肿瘤病例

  • 横轴表示肿瘤的大小, 纵轴表示肿瘤发现的时间
  • 红色表示肿瘤是良性, 蓝色表示肿瘤是恶性

现在新来了一个病人, 用绿色表示, 那么如何判断他是良性还是恶性

 简单来说, K邻近算法就是通过K个最佳的样本来判断未知样本的类别

从上面的例子可以总结出K邻近算法的原理:

  1. 保存所有已知算法的样本点
  2. 输入未知样本点
  3. 选择参数K
  4. 计算未知样本与所有已知样本的距离
  5. 选择最近的K个样本进行投票, 未知样本归于票数最多的类别

影响KNN算法的三要素:

  1. K值的选择
  2. 距离的度量方法
  3. 分类决策准则

距离度量的方法

1. 欧式距离

欧式距离

这是最常见的距离计算方法, 在中学的数学中就已经使用这种方法来计算, 不过多赘述

2.曼哈顿距离

                                                 $L = |x_2 - x_1| + |y_2-y_1|$

样本中有多个特征,每一个特征都有自己的定义域和取值范围,他们对距离计算也是不同的,如取
值较大的影响力会盖过取值较小的参数。因此,为了公平,样本参数必须做一些归一化处理,将不
同的特征都缩放到相同的区间或者分布内。

        归一化:

将一列数据变化到某个固定区间(范围)中，通常，这个区间是[0, 1]，广义的讲，可以是各种区间，比如映射到[0，1]一样可以继续映射到其他范围，图像中可能会映射到[0,255]，其他情况可能映射到[-1,1]

在sklearn中已经有了归一化的API

from sklearn.preprocessing import MinMaxScaler

def test01():

    data = [
        [20,30,90],
        [80,60,10],
        [50,45,40]
    ]
    print(data)
    tranformer = MinMaxScaler()

    data = tranformer.fit_transform(data)
    print(data)

if __name__ == '__main__':
    test01()

        标准化

将数据变换为均值为0，标准差为1的分布切记，并非一定是正态的

from sklearn.preprocessing import StandardScaler

def test01():

    data = [
        [20,30,90],
        [80,60,10],
        [50,45,40]
    ]
    print(data)
    tranformer = StandardScaler()

    data = tranformer.fit_transform(data)
    print(data)

if __name__ == '__main__':
    test01()

KNN算法api

        数据集的划分

1.留出法

将数据集划分为训练集和测试集, 比例一般为:0.8:0.2

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from collections import Counter
# 导入鸢尾花数据集
X,y = load_iris(return_X_y=True)

# 划分训练集和测试集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state=42,stratify=y)
print(Counter(y_train),Counter(y_test))

 sklearn库提供相关的api, 可以直接使用train_test_split()来划分

参数:

数据的特征X

数据的标签y

test_size: 测试集的比例

random_state: 随机数种子, 设置随机数种子可以确保每次运行划分相同, 结论可以复现

stratify: 若设置stratify=y, 确保训练集和测试集在目标变量（标签）上的分布相同

shuffle:参数控制数据在分割之前是否需要打乱顺序。默认值是 True，这意味着在将数据划分为训练集和测试集之前，会先随机打乱数据。这可以防止由于数据的原始顺序（例如，如果数据是按照某种规则排列的）导致的偏差

返回结果:四个数据集, X_train, X_test, y_train, y_test

没设置stratify
设置stratify=y

 2.交叉验证法

 

spliter = StratifiedShuffleSplit(n_splits=5,test_size=0.2,random_state=42)
for train,test in spliter.split(X,y):
    print(Counter(y[test]))

 

模型的评估

        评估指标

sklearn库提供了许多相关的评估指标, 在这里介绍accuracy_score准确度, 传入预测y_test, y_pred即可获得准确率

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.model_selection import StratifiedShuffleSplit
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from collections import Counter
from sklearn.metrics import accuracy_score
# 导入鸢尾花数据集
X,y = load_iris(return_X_y=True)

# 数据标准化
Scaler = StandardScaler()
X = Scaler.fit_transform(X)

# 划分数据集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state=42,stratify=y)

# 训练模型
estimator = KNeighborsClassifier(n_neighbors=3)
estimator.fit(X_train,y_train)

y_pred = estimator.predict(X_test)
print(accuracy_score(y_test,y_pred))

 

        网格搜索最佳参数

了解KNN算法的原理后, 我们知道K值对模型训练的影响非常大, 应该如何选择K值, 才能让我们的准确率更高?

sklearn提供了网格搜索工具GridSearchCV, 可以帮助我们找到最佳参数, 

param_grid 为一个字典, 包括你要搜索的参数的不同值

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
# 导入鸢尾花数据集
X,y = load_iris(return_X_y=True)

# 数据标准化
Scaler = StandardScaler()
X = Scaler.fit_transform(X)

# 划分数据集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state=42,stratify=y)

# 训练模型
estimator = KNeighborsClassifier(n_neighbors=3)
param_grid = {
    'n_neighbors':[1,3,5,7,9]
}
estimator = GridSearchCV(estimator, param_grid=param_grid,cv=5)
estimator.fit(X_train,y_train)
print('最佳参数:',estimator.best_estimator_, '最佳得分',estimator.best_score_)

梁bk
关注
机器学习作业----KNN算法
weixin_51123341的博客
10-26 1122
为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数的投票法则，将未知样本与K个最邻近样本中所属类别占比较多的归为一类。。
机器学习-KNN算法
qq_45138078的博客
10-24 1885
本文主要讲述了机器学习中较为简单的K-近邻算法，可以作为大家机器学习的入门算法教程
机器学习实验报告- KNN算法
m0_64198455的博客
01-21 2484
K最近邻（KNN）算法是一种基本的模式识别和机器学习算法，发展于20世纪60年代。它是一种基于“类的相似性”进行分类的无参数算法，在许多实际应用中取得了良好的效果。在分类问题中，KNN算法将一个测试样本所在区域内训练样本的多数类作为该测试样本的预测类别；在回归问题中，KNN算法利用k个最近邻居的平均值或加权平均值预测连续变量。
机器学习实验作业一----knn算法
m0_73087960的博客
03-26 971
knn算法是最简单的分类算法，主要用于将一个还未分类的点进行分类，得到该点的标签。K近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻近值来代表，也就是该点的标签是用他k个最近邻居中占比最大的标签（每个邻居都带有标签，统计标签出现的个数，取最多的那个标签），把该点分类到其中。
机器学习案例--使用KNN邻近算法预测Facebook用户签到位置
weixin_50164178的博客
06-15 790
此时正确率较低，是因为筛选了经纬度固定的用户数据，但是我们在处理数据时还新增了一些数据，且过滤掉了次数少于3次的地点，最后，KNN是一个基于距离的算法，对线性关系处理较好。数据通常包括用户ID、签到时间、签到地点的经纬度、位置ID等。其中，row_id表示数据对应的id，在预测时无作用，x,y表示对应的经纬度，而accuracy表示测量进度，time表示时间戳(1970年1月1日起始)，place_id为签到位置对应的id。：给定用户的签到记录，预测用户未来可能签到的地点(place_id)
机器学习算法基础--KNN分类算法
m0_71819746的博客
10-07 804
机器学习算法基础--KNN算法分类
机器学习--KNN算法
qq_56424896的博客
11-06 1613
KNN（K- Nearest Neighbor）法即K最邻近法，最初由 Cover和Hart于1968年提出，是最简单的机器学习算法之一，属于有监督学习中的分类算法。算法思路简单直观：分类问题：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。即对于一个需要预测的输入向量x，我们只需要在训练数据集中寻找k个与向量x最近的向量的集合，然后把x的类别预测为这k个样本中类别数最多的那一类。k值较小，预测的标签比较容易受到样本的影响。
机器学习——KNN算法实战
weixin_74340055的博客
04-01 2045
本文主要介绍博主学习完机器学习的第一个算法——KNN之后的实验和心得，主要包括对鸢尾花数据集进行分析和运用KNN算法划分鸢尾花种类的过程。因为是第一次实验，所以是根据《机器学习实战》这本书上的代码实现过程作为参考，并没有调用sklearn库来直接运用KNN算法模型。这是第一次机器学习的实验，有很多机器学习的概念都不是很清楚，对Python也不是特别熟悉，所以整个过程还是比较困难的，但是算是自己将整个代码敲下来了，也学到了很多，希望下次实验能更加得心应手，能学到更多机器学习的知识，并且增强自己的动手实践能力。
【机器学习笔记】KNN算法和k-means算法对比
欢迎关注我的博客
08-14 1543
中的。用于分类或回归问题，通常用作分类算法。在处理一个未知样本时，先找出训练集中距离K个已知样本，然后根据这K个已知样本的类别标签来预测测试集样本的类别。在分类问题中，通常选择出现作为预测结果；在回归问题中，则计算这K个临近值的作为预测结果。
kNN.rar_K._k-邻近算法_knn_k近邻
09-24
k-邻近算法（k-Nearest...总结来说，k-邻近算法是一种基础且实用的机器学习算法，它的应用广泛，从文本分类到图像识别都有所涉及。尽管存在一些挑战，但通过不断的研究和优化，kNN仍然在现代数据科学中占有重要的地位。
机器学习实战---KNN算法
Ding 的博客
11-13 503
KNN算法 (机器学习实战) K-近邻算法采用测量不同特征值之间的距离方法进行分类。 工作原理： 已有一个样本数据集，即训练集，并且训练集的每个数据都有其对应的分类标签。输入没有标签的新数据后，将新数据的每个特征与样本集中的数据对应的特征进行比较，然后算法提取样本集中特征最相似的数据的分类标签。也就是看最相近的k个数据的标签，通过多数表决的方式进行。 这里的k-NN的k即为选择的样本数据集中的前...
机器学习——KNN算法
weixin_45936137的博客
05-11 7618
神经网络反向传播交叉熵 损失函数对输出层激活值Z2的导数
u013172930的博客
10-13 1181
基于交叉熵损失函数和 sigmoid 激活函数。通过应用链式法则，我们将损失函数的导数逐步分解成每个部分的导数，最终得到了损失函数对输出层输入值 的导数，即这个公式表示损失函数的梯度等于模型输出与真实值的差值，用于指导神经网络的反向传播过程。
机器学习的优缺点
jianqimingtian的博客
10-19 626
它的优势，例如自动化、增强的决策、个性化、可扩展性和提高的安全性，使其成为现代企业的宝贵工具。这并不是什么新概念。当模型对训练数据学习得太好时，就会发生过拟合，从而捕获噪声和异常，这会降低其对新数据的泛化能力。当模型过于简单而无法捕获数据中的基础模式时，就会发生欠拟合，从而导致训练和测试数据的性能不佳。训练数据中的偏差会导致模型有偏差，从而使现有的不平等和对某些群体的不公平待遇永久化。在制造和客户服务等行业，ML 驱动的自动化可以处理质量控制、数据输入和客户查询等日常任务，从而提高生产力和效率。
正规方程推导，详细版
最新发布
woai110120130的专栏
10-19 378
Jθ12m∑i1mhθxi−yi2Jθ2m1​∑i1m​hθ​xi−yi2mmm是样本数量。xix^{(i)}xi是第iii个样本的特征向量。yiy^{(i)}yi是第iii个样本的实际值。hθxihθ​xi是模型对第iii个样本的预测值。θ\thetaθ是模型的参数向量。在求导过程中，我们使用了矩阵微积分的规则，特别是关于二次型和线性项的导数。
李宏毅机器学习2022-HW7-BERT-Question Answering
Tunny_one
10-16 775
李宏毅机器学习2022-HW7-BERT-Question Answering
基于机器学习的二手车价格因素识别与预测
m0_53814833的博客
10-15 721
随着二手车市场的快速发展，消费者对二手车的需求逐渐增加，然而，由于二手车的定价涉及多种复杂因素，不同条件下的车辆价值差异较大，如何精准地评估二手车的市场价值成为了一个亟待解决的问题。本项目通过数据分析和机器学习建模，尝试识别并量化影响二手车价格的主要因素，并构建一个价格预测模型，为消费者和行业从业者提供数据支持。
机器学习笔试面试之图像数据不足时的处理方法、检验方法、不均衡样本集的重采样、数据集分布是否一致
算法工程师
10-17 875
机器学习笔试面试之图像数据不足时的处理方法、检验方法、不均衡样本集的重采样、数据集分布是否一致
Python实现机器学习十大算法之kNN算法指南
在Python中实现kNN算法通常可以使用scikit-learn库，这是一个广泛使用的开源机器学习库，提供了许多简单而有效的工具，用于数据挖掘和数据分析。使用scikit-learn，开发人员可以轻松地应用kNN算法，并进行参数调整以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值