KNN算法

最新推荐文章于 2024-06-19 18:36:28 发布
最新推荐文章于 2024-06-19 18:36:28 发布
阅读量695 收藏 17
点赞数 10
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_69895716/article/details/139802224
版权

KNN算法

KNN算法简介

K-近邻算法（K-Nearest Neighbors，KNN）是一种基本的机器学习算法，它主要用于分类任务，同时也可以用于回归任务。KNN算法的核心思想非常简单：一个新样本的分类结果，由其最近的K个邻居投票决定。

比如根据你的“邻居“来判断你的类别

在这里插入图片描述
KNN算发思想：如果一个样本在特征空间中k个最相似的样本中的大多数属于某一类别，则样本也属于这个类别

K-近邻算法

• 样本相似性：样本都是属于一个任务数据集的。样本距离越近则越相似。

在这里插入图片描述
在这里插入图片描述

K-近邻算法流程

分类流程

1.计算未知样本到每一个训练样本的距离

2.将训练样本根据距离大小升序排列

3.取出距离最近的K 个训练样本

4.进行多数表决，统计K 个样本中哪个类别

的样本个数最多

5.将未知的样本归属到出现次数最多的类别

回归流程

1.计算未知样本到每一个训练样本的距离

2.将训练样本根据距离大小升序排列

3.取出距离最近的K 个训练样本

4.把这个K 个样本的目标值计算其平均值

5.作为将未知的样本预测的值

K值选择

•K值过小：用较小邻域中的训练实例进行预测容易受到异常点的影响K值的减小就意味着整体模型变得复杂，容易发生过拟合

•K值过大：用较大邻域中的训练实例进行预测受到样本均衡的问题且K值的增大就意味着整体的模型变得简单，欠拟合

无论输入实例是什么，只会按训练集中最多的类别进行预测,受到样本均衡的影响

KNN算法API使用-分类问题

KNN分类API:

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5)
#n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数

from sklearn.neighborsimport KNeighborsClassifier 
def dm01_knnapi_分类():
    estimator = KNeighborsClassifier(n_neighbors=1)
    X = [[0], [1], [2], [3]]
    y = [0, 0, 1, 1]
    estimator.fit(X, y)
    myret= estimator.predict([[4]])
    print('myret-->', myret)

KNN算法API使用-回归问题

KNN回归API：

sklearn.neighbors.KNeighborsRegressor(n_neighbors=5)

from sklearn.neighborsimport KNeighborsRegressor 
def dm02_knnapi_回归():
    estimator =  KNeighborsRegressor(n_neighbors=2)
    X = [[0, 0, 1]，
         [1, 1, 0],
		 [3, 10, 10],
         [4, 11, 12]]
    y = [0.1, 0.2, 0.3, 0.4]
    estimator.fit(X, y)
    myret= estimator.predict([[3, 11, 10]])print('myret-->', myret)

距离度量（常用距离计算方法）

欧式距离（Euclidean Distance）

直观的距离度量方法

两个点在空间中的距离一般都是指欧氏距离

在这里插入图片描述
在这里插入图片描述

曼哈顿距离(Manhattan Distance)

也称为“城市街区距离”(City Block distance)，曼哈顿城市特点：横平竖直

在这里插入图片描述

在这里插入图片描述

举个例子：

ABCD四点X=[[1,1],[2,2],[3,3],[4,4]]，

计算ABACADBCBD曼哈顿距离

经计算得: AB=|2−1|+|2−1|=2

d = 2 4 6 2 4 2

切比雪夫距离(Chebyshev Distance)

国际象棋中，国王可以直行、横行、斜行，所以国王走一步可以移动到相邻8个方格中的任意一个。

国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？这个距离就叫切比雪夫距离。

在这里插入图片描述

举个例子：

ABCD四点X=[[1,1],[2,2],[3,3],[4,4]]，

计算ABACADBCBD曼哈顿距离

经计算得: AB=max(2−1,2−1)=1

d = 1 2 3 1 2 1

闵可夫斯基距离(MinkowskiDistance)

•不是一种新的距离的度量方式。

•是对多个距离度量公式的概括性的表述

•两个n维变量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)

间的闵可夫斯基距离定义为
在这里插入图片描述

其中p是一个变参数：

​ 当p=1 时，就是曼哈顿距离；

​ 当p=1 时，就是曼哈顿距离；

​ 当p=2 时，就是欧氏距离；

​ 当p→∞ 时，就是切比雪夫距离

​ 根据p 的不同，闵氏距离可表示某一类种的距离

特征预处理

归一化

特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响

（支配）目标结果，使得一些模型（算法）无法学习到其它的特征。

数据归一化

◆如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变

◆应用场景：最大值与最小值非常容易受异常点影响，鲁棒性较差，只适合传统精确小数据场景。

•归一化：通过对原始数据进行变换把数据映射到【mi,mx】(默认为[0,1])之间

在这里插入图片描述

数据归一化API：

sklearn.preprocessing.MinMaxScaler(feature_range=(0,1)… )
#feature_range缩放区间
#fit_transform(X) 将特征进行归一化缩放

#todo 1.导包
from sklearn.preprocessing import MinMaxScaler
#todo 2.数据
x = [[90, 2, 10, 40],
     [60, 4, 15, 45],
     [75, 3, 13, 46]]
#todo 3.实例化（归一化）对象
min_max_scaler = MinMaxScaler()
#todo 4.归一化对象
x_min_max = min_max_scaler.fit_transform(x)
print(f'原始数据：{x}')
print(f'归一化后的数据：\n{x_min_max}')

在这里插入图片描述

标准化

•数据标准化：通过对原始数据进行标准化，转换为均值为0标准差为1的标准正态分布的数据

数据标准化

◆如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大

◆应用场景：适合现代嘈杂大数据场景。(以后就是用你了）

在这里插入图片描述

mean 为特征的平均值

σ 为特征的标准差

数据标准化API：

sklearn.preprocessing. StandardScaler()

#fit_transform(X) 将特征进行归一化缩放

#todo 1.导包
from sklearn.preprocessing import StandardScaler
#todo 2.数据
x = [[90,2,10,40],
     [60,2,5,40],
     [75,3,13,46]]
#todo 3.实例化（标准化)
scaler = StandardScaler()
#todo 4 标准化对象
data = scaler.fit_transform(x)
print('data-->', data)
print('scaler.mean_-->', scaler.mean_)#均值
print('scaler.var_-->', scaler.var_)#标准差

在这里插入图片描述

利用KNN算法对鸢尾花分类

1 获取数据集

from sklearn.datasetsimport load_iris
iris = load_iris()
# print(iris)
# print(f'特征名->\n{iris.feature_names}\n{iris.data[:10]}')
# print(f'目标值->\n{iris.target_names}\n{iris.target}')

2 数据基本处理

import pandas as pd
import seaborn as sns
from matplotlib import pyplot as plt
#载入鸢尾花数据集并显示特征名称.feature_names
iris = load_iris()
#print(iris.feature_names)
# 把数据转换成dataframe格式设置data, columns属性目标值名称
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['target'] = iris.target
# print(f'数据展示->\n{df}')
# 指定横轴
col1 = 'sepal length (cm)'
col2 = 'sepal width (cm)'
#sns.lmplot()显示
sns.lmplot(x=col1, y=col2, data=df, hue='target', fit_reg=False)
plt.title('iris')
plt.xlabel(col1)
plt.ylabel(col2)
plt.show()

3 数据集预处理-数据标准化

from sklearn.model_selectionimport train_test_split # 数据集划分
# 加载数据集
iris = load_iris()
# 划分数据集
X_train, X_test, y_train, y_test=  train_test_split(iris.data, iris.target, test_size=0.3, random_state=22)
print('数据总数量', len(mydataset.data))
print('训练集中的x-特征值', len(X_train))
print('测试集中的x-特征值', len(X_test))
print(y_train)

4 机器学习(模型训练)

#导入类库
from sklearn.preprocessingimport StandardScaler
from sklearn.model_selectionimport train_test_split 
from sklearn.neighborsimport KNeighborsClassifier

# 加载数据集
iris = load_iris()
# 划分数据集
X_train, X_test, y_train, y_test=  train_test_split(iris.data, iris.target, test_size=0.3, random_state=22)
# 数据集预处理-数据标准化
transfer = StandardScaler()
x_train= transfer.fit_transform(x_train)
# 让测试集的均值和方法, 转换测试集数据;
x_test= transfer.transform(x_test)
# 4 机器学习(模型训练)
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(x_train, y_train)
# 5 模型评估直接计算准确率100个样本中模型预测对了多少
myscore= knn.score(x_test, y_test)
print(‘myscore-->’, myscore)

5 模型评估

# 加载数据集
iris = load_iris()
# 划分数据集
X_train, X_test, y_train, y_test=  train_test_split(iris.data, iris.target, test_size=0.3, random_state=22)
# 数据集预处理-数据标准化
transfer = StandardScaler()
x_train= transfer.fit_transform(x_train)
# 让测试集的均值和方法, 转换测试集数据;
x_test= transfer.transform(x_test)
# 机器学习(模型训练)
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(x_train, y_train)
# 利用sklearn.metrics包中的accuracy_score方法
y_predict= knn.predict(x_test)
myresult= accuracy_score(y_test, y_predict)
print('myresult-->', myresult)

6 模型预测

# 对新数据进行预测
    mydata = [[5., 3.4, 1.5, 0.2],
              [4.4, 2.9, 1.4, 0.2],
              [4.9, 3.1, 1.5, 0.1]]
    y_predict = knn.predict(mydata)
    print(f'预测结果->\n{y_predict}')

7总结

1 鸢尾花数据集下载和使用

• 加载数据集mydataset = load_iris()

• 数据集属性 dataset.data .target .target_names .feature_names .DESCR

2 案例的总体处理流程

获取数据集

数据基本处理

特征工程

机器学习(模型训练)

模型评估

3 使用可视化加载和探索数据，以确定特征是否能将不同类别分开

4 通过标准化特征，并随机抽样到训练集和测试集来准备数据。

5 通过统计学，利用准确率评估机器学习模型

#-*- coding:utf-8 -*-
# @Time    : 2019/1/3 0003 14:09
# @File    : knn_iris.py
# @Software: PyCharm
#todo 1.导包
from sklearn.metrics import accuracy_score
from sklearn.datasets import load_iris
import pandas as pd
import seaborn as sns
from matplotlib import pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier

#todo 2.加载数据集
iris = load_iris()
# print(iris)
# print(f'特征名->\n{iris.feature_names}\n{iris.data[:10]}')
# print(f'目标值->\n{iris.target_names}\n{iris.target}')
#todo 3.数据展示

def show_iris_data():
    df = pd.DataFrame(iris.data, columns=iris.feature_names)
    df['target'] = iris.target
    # print(f'数据展示->\n{df}')
    # 指定横轴
    # col1 = 'sepal length (cm)'
    # col2 = 'sepal width (cm)'
    # sns.lmplot(x=col1, y=col2, data=df, hue='target', fit_reg=False)
    # plt.title('iris')
    # plt.xlabel(col1)
    # plt.ylabel(col2)
    # plt.show()
    feature_names = iris.feature_names
    # print(f'特征值->\n{feature_names}'
    for i in range(len(feature_names)):
        for j in range(i+1, len(feature_names)):
            col1 = feature_names[i]
            col2 = feature_names[j]
            sns.lmplot(x=col1, y=col2, data=df, hue='target', fit_reg=False)
            plt.title('iris')
            plt.xlabel(col1)
            plt.ylabel(col2)
            plt.show()
#todo 4.数据基本处理

def data_process():
    """
    数据处理和KNN模型的训练与预测。

    该函数从iris数据集中加载数据，将其划分为训练集和测试集，
    对数据进行标准化处理，然后训练一个KNN分类器，并对测试集进行预测，
    最后输出预测的准确率以及对新数据进行预测。
    """
    # 加载iris数据集
    x = iris.data
    y = iris.target

    # 将数据集划分为训练集和测试集，测试集比例为20%
    # 划分数据集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=22)

    # 实例化标准化处理器，并对训练集和测试集进行标准化处理
    # 标准化
    ss = StandardScaler()
    x_train = ss.fit_transform(x_train)
    x_test = ss.transform(x_test)

    # 实例化KNN分类器，设置邻居数量为5
    #todo 5.实例化模型
    knn = KNeighborsClassifier(n_neighbors=5)

    # 使用训练集训练KNN分类器
    #todo 6.模型训练
    knn.fit(x_train, y_train)
    # 使用训练好的分类器对测试集进行预测
    #todo 7.模型评估
    y_predict = knn.predict(x_test)
    # 计算预测的准确率
    score = accuracy_score(y_test, y_predict)
    print(f'准确率->\n{score}')

    # 对新数据进行预测
    #todo 8.模型预测
    mydata = [[5., 3.4, 1.5, 0.2],
              [4.4, 2.9, 1.4, 0.2],
              [4.9, 3.1, 1.5, 0.1]]
    y_predict = knn.predict(mydata)
    print(f'预测结果->\n{y_predict}')
if __name__ == '__main__':
    data_process()
    # show_iris_data()
"烛
关注
  • 10
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
KNN算法（k近邻算法）原理及总结
m0_74405427的博客
10-09 4万+
KNN 算法，或者称 k最邻近算法，是有监督学习中的分类算法。它可以用于分类或回归问题，但它通常用作分类算法。
机器学习之KNN算法
01-06
kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来...
优化KNN算法
aouiylfjh的博客
07-03 1688
读者可看此文章，为复现的knn算法python实现KNN算法_AGuiRong的博客-CSDN博客该文章为针对复现的knn算法进行优化。对KNN算法采取了10折运算原理，在给定的参数范围内选取最优参数值，并给出了可视化效果。
KNN算法（一） KNN算法原理
热门推荐
weixin_45014385的博客
03-20 12万+
一.KNN算法概述 KNN可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一，注意KNN算法是有监督学习中的分类算法，它看起来和另一个机器学习算法Kmeans有点像（Kmeans是无监督学习算法），但却是有本质区别的。那么什么是KNN算法呢，接下来我们就来介绍介绍吧。 二.KNN算法介绍 KNN的全称是K Nearest Neighbors，意思是K个最近的邻居，从这个名字我们就能看出一些KNN算法的蛛丝马迹了。K个最近邻居，毫无疑问，K的取值肯定是至关重要的。那么最近的邻居又是怎么回事呢
头歌KNN算法详解
2302_80089843的博客
04-22 2684
可以看出宅男和文艺青年的比分是 2:2，那么可以尝试将属于宅男的 2 个样本与我的总距离和属于文艺青年的 2 个样本与我的总距离进行比较。在这个例子中预测结果为文艺青年(宅男的总距离为 4.2+9.5，文艺青年的总距离为 7.7+5.8)。根据提示，在右侧编辑器的 begin-end 区域补充代码，完成 kNNClassifier 类中的 fit 函数与 predict 函数。假设现在有这样的一个样本空间，该样本空间里有宅男和文艺青年这两个类别，其中红圈表示宅男，绿圈表示文艺青年。
KNN算法（K近邻算法）
TXQIHYJ的博客
10-09 6289
KNN（K-Nearest Neighbor）即K邻近法，是机器学习算法中最基础、最简单的算法之一。它既能用于分类，也能用于回归。KNN通过测量不同特征值之间的距离来进行分类，用老话说：“人以群分，物以类聚”。KNN 算法是有监督学习中的分类算法，它看起来和另一个机器学习算法 K-means 有点像（K-means 是无监督学习算法），但却是有本质区别的。
KNN算法实战
向着光的那方
01-16 4925
最近邻算法（NN)：为了判定未知样本的类别，以全部训练样本作为代表点计算位置样本与所有训练样本的距离，并以最邻近这的类别作为决策位置样本的唯一依据。但是最近邻算法作为分类原则是存下明显缺陷的。 最近邻算法的缺点---对噪声数据过于敏感 为了解决这个额问题，我们可以把位置样本周边的多个样本算在内，扩大与决策的样本量，以避免个别数据直接决定决策结果。 ----K-邻近算法 K近邻算法思想：K-近邻算法是最紧邻算法的一个延伸。基本思路是：选择未知样本一定范围内确定个数的K个样...
KNN算法原理以及实例
weixin_62276149的博客
10-09 863
KNN（K-Nearest Neighbor，k近邻）算法是一种基本的分类与回归方法，它的基本思想是：在特征空间中，如果一个样本的k个最近邻居大多数属于某一类别，则该样本也属于这一类别。在KNN算法中，首先需要度量样本之间的距离，通常采用欧氏距离或曼哈顿距离。然后，选择一个合适的k值（一般通过交叉验证选取），对于每个待分类的测试样本，在训练数据集中找到其k个最近邻居，根据它们所属的类别进行投票，得票最多的类别即为该测试样本的分类结果。
机器学习-KNN算法实现
11-02
机器学习knn算法实现，工程使用pycharm建立，包括机器学习实战的代码和自己重写的部分代码，增加部分函数的使用方法介绍。
基于Hadoop实现Knn算法
08-26
"基于Hadoop实现Knn算法" 基于Hadoop实现Knn算法是将Knn算法与Hadoop结合，以提高算法的效率和可扩展性。Knn算法是一种常用的分类算法，通过计算当前测试数据与训练数据的距离，确定测试数据所属的类别。然而，传统...
python实现KNN算法
07-25
内含数据集。先执行cut_data.py划分训练集和测试集，再执行main.py即可。
KNN算法实验报告.pdf
10-30
KNN 算法实验报告 KNN（K-Nearest Neighbor）算法是机器学习领域中的一种常用算法，属于监督学习算法的一种。该算法的核心思想是，如果一个样本在特征空间中的 k 个最相似（即特征空间中最邻近）的样本中的大多数...
算法训练营day60
stmfresher的博客
06-16 204
【代码】算法训练营day60。
P1656 炸铁路
最新发布
STY_fish_2012的博客
06-19 324
如果y的追溯值大于了x的时间戳，也就是y的追溯值在x之后，并且，y追溯到的这个点与x一定不连通，因为如果连通，那么y就会顺着这个点追溯到时间戳更小的点x，到这里，我们不难推出：x与y之间直接连通的边，只有这一条，并且没有间接联通的边。炸毁一条路对于一张图来说，本质上就是去掉一条边，不能通过铁路到达就代表这张图不连通了，对于这种去掉之后就可以使整张图不再连通的边，我们称之为割边。第一行 n,m (1≤n≤150，1≤m≤5000)，分别表示有 n 个城市，总共 m 条铁路。里面里面讲过，这里就不多说了。
【代码随想录】【算法训练营】【第35天】[134]加油站 [135]分发糖果 [860]柠檬水找零 [406]根据身高重建队列
weixin_54954007的博客
06-11 314
思路及算法思维，指路。题目来自。day 35，连休两天~
华为OD机试C卷（100分）-最大N个数与最小N个数的和（C语言）
欢迎来到我的博客~
06-16 179
给定一个数组，编写一个函数来计算它的最大N个数与最小N个数的和。你需要对数组进行去重。说明 最大2个数[100,95],最小2个数[83,64], 输出为342。说明 最大2个数[4,3],最小2个数[3,2], 有重叠输出为-1。最大N个数与最小N个数不能有重叠，如有重叠，输入非法返回-1。第三行输入N，N表达需要计算的最大、最小N个数。数组中数字范围[0, 1000]第一行输入M， M标识数组大小。第二行输入M个数，标识数组内容。输出最大N个数与最小N个数的和。
C语言中数组和指针的关系
2402_85246552的博客
06-12 599
因此，在函数内部，你无法知道数组的大小（除非作为另一个参数传递），但你可以通过指针访问数组的元素。对于数组，如果越界访问（访问数组索引超出其实际大小的元素），可能会导致未定义的行为，包括访问到无效的内存地址或覆盖其他变量的值。对于指针，如果指针指向了无效的内存地址（如未初始化的指针、已释放的内存或不存在的内存地址），解引用该指针也会导致未定义的行为。数组的大小在编译时是固定的，而指针可以指向任意大小的内存区域（只要该区域已被分配且指针已正确初始化）。），这会得到整个数组的地址或指向下一个元素的指针。
C数据结构：排序
2301_80655639的博客
06-12 1040
若按照错误方法来：例如：begin = 0，end = 3，那么mid = 1，begin1 = 0，end1 = 2，递归左右区间为[0，2]也就是begin = 0，end = 2，那么mid = 1，begin1 = 0，end1 = 2，这样又递归就会出现栈溢出的情况，所以必须要按照 上面代码的方式走。然后这个for循环做的就是遍历原数组，将原数组的值减去最小值，这个值映射到count数组中，让这个下标的值++，这样就会统计这个值出现的次数，而与原数组建立的关系就是减去一个min的关系。
knn算法matlab
06-08
KNN算法（K-Nearest Neighbor）是一种简单的机器学习算法，它可以用于分类和回归问题。在MATLAB中，可以使用ClassificationKNN和RegressionKNN对象来实现KNN算法。 下面是一个简单的MATLAB示例，演示如何使用KNN算法进行分类： ```matlab % 加载数据 load fisheriris X = meas(:,3:4); Y = species; % 创建KNN分类器 knn = fitcknn(X,Y,'NumNeighbors',5); % 预测新数据 x_new = [5.7, 2.9]; y_new = predict(knn,x_new); % 显示结果 disp(['预测结果：', y_new]) ``` 在上面的示例中，我们加载了鱼类数据集（fisheriris），并选择了前两个特征作为输入变量（X），将鱼类的种类作为输出变量（Y）。然后，我们创建了一个KNN分类器，并将其拟合到数据中。最后，我们使用新数据进行预测，并显示结果。 需要注意的是，KNN算法非常依赖于数据的结构和特征，因此在使用KNN算法时需要对数据进行预处理和特征选择。同时，KNN算法还存在一些问题，如需要选择合适的K值、计算开销较大等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值