python：机器学习（KNN算法）

于 2025-05-26 21:46:12 发布
阅读量426 收藏 9
点赞数 4
文章标签： python 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sulin123123/article/details/148238524
版权

本文目录：

一、K-近邻算法思想

K-近邻算法（K Nearest Neighbor，简称KNN）。如果一个样本在特征空间中的 k 个最相似的样本中的大多数属于某一个类别，则该样本也属于这个类别 。就好像根据你的邻居来推断你的类别。

样本相似性：样本都是属于一个任务数据集的，样本距离越近则越相似。

K值的选择：
在这里插入图片描述
欧式距离：
在这里插入图片描述

二、KNN的应用方式

（ 一）分类流程

在这里插入图片描述
1.计算未知样本到每一个训练样本的距离（欧式距离）；

2.将训练样本根据距离大小升序排列；

3.取出距离最近的 K 个训练样本；

4.进行多数表决，统计 K 个样本中哪个类别的样本个数最多；

5.将未知的样本归属到出现次数最多的类别。

（二）回归流程

在这里插入图片描述
1.计算未知样本到每一个训练样本的距离;

2.将训练样本根据距离大小升序排列;

3.取出距离最近的 K 个训练样本;

4.把这 K 个样本的目标值计算其平均值;

5.作为未知的样本预测的值。

三、API介绍

（一）分类预测操作

例：
#分类预测操作
#导包
from sklearn.neighbors import KNeighborsClassifier
# #准备数据集
x_train=[[1,1],[1,2],[2,1],[2,2]]
y_train=[0,0,0,1]
#  创建模型
knn=KNeighborsClassifier(n_neighbors=3)#k默认为5
# 训练模型
knn.fit(x_train,y_train)
#  预测
print(knn.predict([[1.1,1.1]]))

（二）回归预测操作

例：
#回归预测操作
#1.导包
from sklearn.neighbors import  KNeighborsRegressor
#2、创建模型算法对象 （回归的）
es = KNeighborsRegressor(n_neighbors=2)
#
#3、准备训练集 x和y
x_train=[[0,0,1],[1,1,0],[3,10,10],[4,11,12]]
y_train=[0.1,0.2,0.3,0.4]
#4、准备测试集
x_test=[[3,10,11]]
#5、模型训练
es.fit(x_train,y_train)
#6、模型预测（并打印结果）
y_test = es.predict(x_test)
print(f"预测结果为{y_test}")

四、距离度量方法

（一）曼哈顿距离

在这里插入图片描述

（二）切比雪夫距离

在这里插入图片描述

（三）闵式距离

在这里插入图片描述

五、特征预处理：归一化与标准化

例：

**（一）归一化操作流程**

#归一化操作，主要针对数据量较少场景
#1.导包
from sklearn.preprocessing import MinMaxScaler
#2.加载数据
X_TRAIN=[
    [1,2,3,4,5,6,7,8,9,10],
    [11,12,13,14,15,16,17,18,19,20],
]
X_TEST=[
    [21,22,23,24,25,26,27,28,29,30]
]
#3.归一化
scaler = MinMaxScaler(feature_range=(0,1))
#4.特征数据训练集转换
X_TRAIN = scaler.fit_transform(X_TRAIN)
#5.特征数据测试集转换
X_TEST = scaler.transform(X_TEST)
#6.打印
print(X_TRAIN)
print(X_TEST)

**（二）标准化操作流程**

#标准化操作，主要针对大数据场景
#1.导包
from sklearn.preprocessing import StandardScaler
#2.建立标准化对象
scaler = StandardScaler()
#3.特征数据训练集转换
scaler.fit(X_TRAIN)
#4.特征数据测试集转换
X_TRAIN = scaler.fit_transform(X_TRAIN)
#5.特征数据测试集转换
X_TEST = scaler.transform(X_TEST)
#6.打印
print(X_TRAIN)
print(X_TEST)

六、鸢尾花实例

例：

# 导入工具包
from sklearn.datasets import load_iris          # 加载鸢尾花测试集的.
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split    # 分割训练集和测试集的
from sklearn.preprocessing import StandardScaler        # 数据标准化的
from sklearn.neighbors import KNeighborsClassifier      # KNN算法 分类对象
from sklearn.metrics import accuracy_score              # 模型评估的, 计算模型预测的准确率


# 1. 定义函数 dm01_loadiris(), 加载数据集.
def dm01_loadiris():
    # 1. 加载数据集, 查看数据
    iris_data = load_iris()
    print(iris_data)           # 字典形式, 键: 属性名, 值: 数据.
    print(iris_data.keys())

    # 1.1 查看数据集
    print(iris_data.data[:5])
    # 1.2 查看目标值.
    print(iris_data.target)
    # 1.3 查看目标值名字.
    print(iris_data.target_names)
    # 1.4 查看特征名.
    print(iris_data.feature_names)
    # 1.5 查看数据集的描述信息.
    print(iris_data.DESCR)
    # 1.6 查看数据文件路径
    print(iris_data.filename)

# 2. 定义函数 dm02_showiris(), 显示鸢尾花数据.
def dm02_showiris():
    # 1. 加载数据集, 查看数据
    iris_data = load_iris()
    # 2. 数据展示
    # 读取数据, 并设置 特征名为列名.
    iris_df = pd.DataFrame(iris_data.data, columns=iris_data.feature_names)
    # print(iris_df.head(5))
    iris_df['label'] = iris_data.target

    # 可视化, x=花瓣长度, y=花瓣宽度, data=iris的df对象, hue=颜色区分, fit_reg=False 不绘制拟合回归线.
    sns.lmplot(x='petal length (cm)', y='petal width (cm)', data=iris_df, hue='label', fit_reg=False)
    plt.title('iris data')
    plt.show()


# 3. 定义函数 dm03_train_test_split(), 实现: 数据集划分
def dm03_train_test_split():
    # 1. 加载数据集, 查看数据
    iris_data = load_iris()
    # 2. 划分数据集, 即: 特征工程(预处理-标准化)
    x_train, x_test, y_train, y_test = train_test_split(iris_data.data, iris_data.target, test_size=0.2,
                                                        random_state=22)
    print(f'数据总数量: {len(iris_data.data)}')
    print(f'训练集中的x-特征值: {len(x_train)}')
    print(f'训练集中的y-目标值: {len(y_train)}')
    print(f'测试集中的x-特征值: {len(x_test)}')

# 4. 定义函数 dm04_模型训练和预测(), 实现: 模型训练和预测
def dm04_model_train_and_predict():
    # 1. 加载数据集, 查看数据
    iris_data = load_iris()

    # 2. 划分数据集, 即: 数据基本处理
    x_train, x_test, y_train, y_test = train_test_split(iris_data.data, iris_data.target, test_size=0.2, random_state=22)

    # 3. 数据集预处理-数据标准化(即: 标准的正态分布的数据集)
    transfer = StandardScaler()
    # fit_transform(): 适用于首次对数据进行标准化处理的情况，通常用于训练集, 能同时完成 fit() 和 transform()。
    x_train = transfer.fit_transform(x_train)
    # transform(): 适用于对测试集进行标准化处理的情况，通常用于测试集或新的数据. 不需要重新计算统计量。
    x_test = transfer.transform(x_test)

    # 4. 机器学习(模型训练)
    estimator = KNeighborsClassifier(n_neighbors=5)
    estimator.fit(x_train, y_train)

    # 5. 模型评估.
    # 场景1: 对抽取出的测试集做预测.
    # 5.1 模型评估, 对抽取出的测试集做预测.
    y_predict = estimator.predict(x_test)
    print(f'预测结果为: {y_predict}')

    # 场景2: 对新的数据进行预测.
    # 5.2 模型预测, 对测试集进行预测.
    # 5.2.1 定义测试数据集.
    my_data = [[5.1, 3.5, 1.4, 0.2]]
    # 5.2.2 对测试数据进行-数据标准化.
    my_data = transfer.transform(my_data)
    # 5.2.3 模型预测.
    my_predict = estimator.predict(my_data)
    print(f'预测结果为: {my_predict}')

    # 5.2.4 模型预测概率, 返回每个类别的预测概率
    my_predict_proba = estimator.predict_proba(my_data)
    print(f'预测概率为: {my_predict_proba}')

    # 6. 模型预估, 有两种方式, 均可.
    # 6.1 模型预估, 方式1: 直接计算准确率, 100个样本中模型预测正确的个数.
    my_score = estimator.score(x_test, y_test)
    print(my_score)  # 0.9666666666666667

    # 6.2 模型预估, 方式2: 采用预测值和真实值进行对比, 得到准确率.
    print(accuracy_score(y_test, y_predict))


# 在main方法中测试.
if __name__ == '__main__':
    # 1. 调用函数 dm01_loadiris(), 加载数据集.
    # dm01_loadiris()

    # 2. 调用函数 dm02_showiris(), 显示鸢尾花数据.
    # dm02_showiris()

    # 3. 调用函数 dm03_train_test_split(), 查看: 数据集划分
    # dm03_train_test_split()

    # 4. 调用函数 dm04_模型训练和预测(), 实现: 模型训练和预测
    dm04_model_train_and_predict()

**【附赠】网格搜索和交叉验证在鸢尾花实例上的应用：**
# 4. 模型训练.
# 4.1 创建估计器对象.
estimator = KNeighborsClassifier()
# 4.2 使用校验验证网格搜索.  指定参数范围.
param_grid = {"n_neighbors": range(1, 10)}
# 4.3 具体的 网格搜索过程 + 交叉验证.
# 参1: 估计器对象, 参2: 参数范围, 参3: 交叉验证的折数.
estimator = GridSearchCV(estimator=estimator, param_grid=param_grid, cv=5)
# 具体的模型训练过程.
estimator.fit(x_train, y_train)


# 4.4 交叉验证, 网格搜索结果查看.
print(estimator.best_score_)       # 模型在交叉验证中, 所有参数组合中的最高平均测试得分
print(estimator.best_estimator_)   # 最优的估计器对象.
print(estimator.cv_results_)       # 模型在交叉验证中的结果.
print(estimator.best_params_)      # 模型在交叉验证中的结果.


# 5. 得到最优模型后, 对模型重新预测.
estimator = KNeighborsClassifier(n_neighbors=6)
estimator.fit(x_train, y_train)
print(f'模型评估: {estimator.score(x_test, y_test)}')   # 因为数据量和特征的问题, 该值可能小于上述的平均测试得分.

备注：如果存在中文乱码问题，可如下设置：
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
即  通过设置全局变量（默认字体设为‘SimHei’【支持中文】和将unicode里的负号禁止不用【默认的负号无法被识别，禁用后将不再影响】）来处理乱码。

以上代码的简洁版：

#导包
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.metrics import accuracy_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV,train_test_split
from sklearn.datasets import load_iris
import seaborn as sns
#解决中文乱码
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False

#加载数据集
def iris_data():
    data=load_iris()
    # print(data)
    iris=pd.DataFrame(data.data,columns=data.feature_names)
    iris['类别']=data.target
    iris.columns=['花萼长度','花萼宽度','花瓣长度','花瓣宽度','类别']
    print(iris.head())
    return iris

if __name__=='__main__':
    iris=iris_data()
    # 绘制回归图，fit_reg=Ture：展示回归线
    sns.lmplot(data=iris,x='花萼长度',y='花萼宽度',hue='类别',fit_reg=True)#一种绘图方式
    # iris.plot(kind='scatter',x='花萼长度',y='花萼宽度')  #另一种绘图方式，但没有sns精致
    plt.show()
    #切割数据
    x_train,x_test,y_train,y_test=train_test_split(iris[['花萼长度','花萼宽度','花瓣长度','花瓣宽度']],iris['类别'],test_size=0.3,random_state=88)
    # 数据标准化
    knn=StandardScaler()
    new_x_train=knn.fit_transform(x_train)
    new_x_test=knn.transform(x_test)
    #  训练模型
    aa=KNeighborsClassifier()
    aa=GridSearchCV(aa,param_grid={'n_neighbors':[i for i in range(1,11)]},cv=4)
    aa.fit(new_x_train,y_train)
    #打印最佳参数，最佳得分，整体参数
    print(aa.best_score_,aa.best_params_,aa.cv_results_['params'])
    #预测并打印准确率
    print(accuracy_score(aa.predict(new_x_test),y_test))
    print(aa.score(new_x_test,y_test))
苏苏susuus
关注
python机器学习（一）算法学习的步骤、机器学习的应用及流程(获取数据、特征工程、模型、模型评估)
hwwaizs的博客
01-19 4039
算法学习的步骤、机器学习的应用及流程(获取数据、特征工程、模型、模型评估)
分类模型 第3篇：knn分类
悦光阴的博客
07-31 1154
K最邻近(k-Nearest Neighbors，KNN)分类是一种监督式的分类方法，首先根据已标记的数据对模型进行训练，然后根据模型对新的数据点进行预测，预测新数据点的标签(label)，也就是该数据所属的分类。 一，knn算法的逻辑 knn算法的核心思想是：如果一个数据在特征空间中最相邻的k个数据中的大多数属于某一个类别，则该样本也属于这个类别(类似投票)，并具有这个类别上样本的特性。通俗地...
机器学习算法Python实现
java、c++、机器学习方向King
01-05 2039
https://github.com/lawlite19/MachineLearning_Python?utm_source=tuicool&utm_medium=referral 目录 机器学习算法Python实现 一、线性回归 1、代价函数2、梯度下降算法3、均值归一化4、最终运行结果5、使用scikit-learn库中的线性模型实现 二、逻辑回归 1、代价
机器学习及算法-python
weixin_45639174的博客
11-24 3230
Scikit-learn包含：分类、聚类、回归特征工程模型选择、调优安装逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法。
机器学习算法简单汇总（python）
最新发布
Stukdee的博客
03-08 679
本文通过记录个种常见、常用的机器学习算法，来帮助人们（主要是我自己😋）更好的选择。(文章通过网络搜集+ai整理，当然还有机智的我来检查啦😎)
常见的机器学习算法代码及其Python代码
2301_76161259的博客
06-14 3429
例如, 想要了解一个完全陌生的人, 你也许想要去找他的好朋友们或者他的囶子来获得他的信息。在这种情况下,降维算法和别的一些算法(比如决策树、随机森林、PCA、因子 分析)帮助我们根据相关矩阵、缺失的值的比例和别的要素来找出这些重要变量。他很可能会目测人们的身高和体形,综合这些可见的参数来排列他们，这是现实生活中使用线性回归的例子.实际上,这个孩子发现了身高和体形、体重有一定的关系,这个关系看起来很像上面的等式。使用 均值算法来将一个数据归入一定数量的集群(假设有 个集群)的过程是简单的。
Python机器学习算法入门指南(全)
2501_90425233的博客
02-03 1187
按照应用场景，可以分为聚类，降维和关联分析等模型。2 机器学习建模流程。
python:基于KNN算法的电影分类
04-26
使用python实现KNN原理，同时应用到电影分类过程中，训练集和测试集都来自李航的《统计学方法》中KNN那一章。
python机器学习之KNN分类算法
09-20
在Python中，常用的机器学习库scikit-learn提供了KNN算法的实现。以下是一个基本示例： ```python from sklearn.neighbors import KNeighborsClassifier # 创建KNN分类器对象 knn = KNeighborsClassifier(n_...
python机器学习KNN算法 相关代码
11-07
Python机器学习中的KNN（K-Nearest Neighbors，K近邻）算法是一种简单而强大的非参数分类和回归方法。KNN算法的核心思想是“物以类聚”，即未知类别的样本点可以通过寻找已知类别样本中最接近的K个邻居来确定其归属...
python机器学习算法实战里KNN 算法代码.rar
09-19
在Python的机器学习领域，KNN（K-Nearest Neighbors）算法是一种广泛应用的监督学习方法，主要用于分类和回归问题。KNN算法基于实例学习，它的核心思想是“物以类聚”，即新样本会根据其最近的邻居来决定自身的类别...
使用机器学习KNN算法对水果进行分类（附源码及数据）
12-14
资源包括KNN算法分析源码及水果特征数据（.txt格式），对初学者学习KNN算法具有很强参考和借鉴作用。 KNN（K- Nearest Neighbor）法即K最邻近法，最初由 Cover和Hart于1968年提出，是一个理论上比较成熟的方法，也是...
机器学习-KNN算法
尤尔小屋
10-19 2862
从KNN算法步入机器学习殿堂 本文中介绍的机器学习算法中的一种监督学习的算法：KNN算法，全称是K-Nearest Neighbor，中文称之为K近邻算法。 它是机器学习可以说是最简单的分类算法之一，同时也是最常用的分类算法之一。在接下来的内容中，将通过以下的几个方面的内容对该算法进行详细的讲解： 算法思想 思想 首先对KNN算法的思想进行简单的描述： KNN算法是一个基本的分类和回归的算法，它是属于监督学习中分类方法的一种。其大致思想表述为： 给定一个训练集合M和一个测试对象n，其中该对象是由一个属
Python实现机器学习算法——朴素贝叶斯
杨老师的小跟班(*∩_∩*)
08-01 7212
数据挖掘——朴素贝叶斯算法
图像分类基本流程及 KNN 分类器
dugudaibo的博客
10-21 8956
本文首先介绍了图像分类的相关概念，如图像分类的挑战，流程等；之后以KNN算法为例，介绍了基于验证集和交叉验证方法，选取超参数的方法；最后总结用KNN进行分类的情况，并由此引出对于图像分类，仅仅采用像素值是不够的，应该采用跟深层次的方法。
详细的KNN算法原理步骤
weixin_43179522的博客
04-21 4万+
KNN算法原理详解KNN算法1.1 解决监督学习中分类问题的一般步骤1.2什么是消极(惰性)的学习方法1.3 KNN算法 K个最近邻法(K-Nearst-Neighbor,KNN),解决监督学习中的分类问题 1.1 解决监督学习中分类问题的一般步骤 –也是解决机器学习问题的基本流程(写代码时也是这个流程) 1.EDA数据探索性分析 2.特征工程(目的:将数据转换成满足算法需求的数据) 非数值数据做...
KNN分类算法
haihongazar的博客
04-08 1万+
课程大纲 KNN分类算法原理 KNN概述 KNN算法图示 KNN算法要点 KNN算法不足之处 KNN分类算法Python实战 KNN简单数据分类实践 KNN实现手写数字识别 KNN算法补充 KNN算法中k值的选取 类别判定
机器学习之KNN最邻近分类算法
热门推荐
pengjunlee的博客
09-15 21万+
KNN算法简介 KNN（K-Nearest Neighbor）最邻近分类算法是数据挖掘分类（classification）技术中最简单的算法之一，其指导思想是”近朱者赤，近墨者黑“，即由你的邻居来推断出你的类别。 KNN最邻近分类算法的实现原理：为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值