KNN算法详解

已于 2024-05-05 12:01:05 修改
阅读量1.6k 收藏 19
点赞数 36
文章标签： 算法
于 2024-05-05 11:03:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47552266/article/details/138462073
版权

KNN分类算法

K最近邻（K-Nearest Neighbors，KNN）算法是一种简单且直观的监督学习算法，用于分类和回归问题。在KNN分类中，通过将新数据点的特征与训练数据中的所有点进行比较，确定其最近邻居，并将新数据点分配给与其最近邻居具有最相似特征的类别。

常用方法和参数：

  1. n_neighbors: 用于指定要考虑的最近邻居的数量。默认为5。

  2. weights: 用于指定在近邻中使用的权重类型。

    • uniform: 所有邻居权重相同。
    • distance: 权重与距离成反比。

  3. algorithm: 用于指定计算最近邻居的算法。

    • auto: 根据数据自动选择算法。
    • ball_tree: 使用BallTree算法。
    • kd_tree: 使用KDTree算法。
    • brute: 使用暴力搜索，计算所有样本点之间的距离。

  4. leaf_size: 用于指定使用BallTree或KDTree时叶子节点的大小。默认为30。

  5. metric: 用于指定用于距离度量的距离度量标准。

    • euclidean: 欧氏距离。
    • manhattan: 曼哈顿距离。
    • chebyshev: 切比雪夫距离。
    • minkowski: 闵可夫斯基距离。
具体案例：
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Load the iris dataset
iris = load_iris()
X = iris.data
y = iris.target

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Initialize the KNN classifier
knn = KNeighborsClassifier(n_neighbors=5, weights='uniform', algorithm='auto', leaf_size=30, metric='euclidean')

# Train the classifier
knn.fit(X_train, y_train)

# Make predictions
predictions = knn.predict(X_test)

# Calculate accuracy
accuracy = accuracy_score(y_test, predictions)
print("Accuracy:", accuracy)
常见问题和解决方案：

  1. Q: 如何选择合适的K值？
    A: 可以通过交叉验证或网格搜索来选择合适的K值。

  2. Q: 如何处理数据不平衡的情况？
    A: 可以通过设置"weights"参数为"distance"来考虑样本之间的距离，从而解决数据不平衡的问题。

  3. Q: KNN算法对异常值敏感吗？
    A: 是的，KNN算法对异常值敏感。可以通过数据预处理方法（如去除异常值或使用异常值检测算法）来处理异常值。

  4. Q: KNN算法适用于处理大规模数据吗？
    A: 不太适用，因为KNN算法的计算复杂度较高，随着数据规模的增加，计算成本会变得很高。

  5. Q: 如何处理特征空间维度较高的情况？
    A: 可以考虑使用降维算法（如主成分分析PCA）来降低特征空间的维度，从而提高KNN算法的效率。

KNN回归算法

K最近邻回归（K-Nearest Neighbors Regression，KNN Regression）算法是一种基于特征空间中K个最近邻居的回归方法，用于预测连续型变量的值。

常用方法和参数：

  1. n_neighbors: 用于指定要考虑的最近邻居的数量。默认为5。

  2. weights: 用于指定在近邻中使用的权重类型。

    • uniform: 所有邻居权重相同。
    • distance: 权重与距离成反比。

  3. algorithm: 用于指定计算最近邻居的算法。

    • auto: 根据数据自动选择算法。
    • ball_tree: 使用BallTree算法。
    • kd_tree: 使用KDTree算法。
    • brute: 使用暴力搜索，计算所有样本点之间的距离。

  4. leaf_size: 用于指定使用BallTree或KDTree时叶子节点的大小。默认为30。

  5. metric: 用于指定用于距离度量的距离度量标准。

    • euclidean: 欧氏距离。
    • manhattan: 曼哈顿距离。
    • chebyshev: 切比雪夫距离。
    • minkowski: 闵可夫斯基距离。
具体案例：
from sklearn.neighbors import KNeighborsRegressor
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# Load the Boston Housing dataset
boston = load_boston()
X = boston.data
y = boston.target

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Initialize the KNN regressor
knn_reg = KNeighborsRegressor(n_neighbors=5, weights='uniform', algorithm='auto', leaf_size=30, metric='euclidean')

# Train the regressor
knn_reg.fit(X_train, y_train)

# Make predictions
predictions = knn_reg.predict(X_test)

# Calculate mean squared error
mse = mean_squared_error(y_test, predictions)
print("Mean Squared Error:", mse)

常见问题和解决方案：

  1. Q: 如何选择合适的K值？
    A: 可以通过交叉验证或网格搜索来选择合适的K值。

  2. Q: KNN回归算法对异常值敏感吗？
    A: 是的，KNN回归算法对异常值敏感。可以通过数据预处理方法（如去除异常值或使用异常值检测算法）来处理异常值。

  3. Q: KNN回归算法适用于处理大规模数据吗？
    A: 不太适用，因为KNN回归算法的计算复杂度较高，随着数据规模的增加，计算成本会变得很高。

  4. Q: 如何处理特征空间维度较高的情况？
    A: 可以考虑使用降维算法（如主成分分析PCA）来降低特征空间的维度，从而提高KNN回归算法的效率。

  5. Q: KNN回归算法适用于处理多输出的情况吗？
    A: 是的，KNN回归算法可以处理多输出的情况，例如可以使用KNN回归算法来预测多个目标变量的值。

最近邻居算法详解

BallTree算法

BallTree算法是一种用于高维数据的近似最近邻搜索算法。它通过在数据空间中构建一系列包围数据点的球体（球树）来加速最近邻搜索过程。

常用方法和参数：
  1. leaf_size: 用于指定叶子节点的大小，即叶子节点中允许的最大数据点数量。默认为40。
具体案例：
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Load the iris dataset
iris = load_iris()
X = iris.data
y = iris.target

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Initialize the KNN classifier with BallTree algorithm
knn = KNeighborsClassifier(n_neighbors=5, algorithm='ball_tree')

# Train the classifier
knn.fit(X_train, y_train)

# Make predictions
predictions = knn.predict(X_test)

# Calculate accuracy
accuracy = accuracy_score(y_test, predictions)
print("Accuracy:", accuracy)
常见问题和解决方案：

  1. Q: BallTree算法适用于哪些类型的数据？
    A: BallTree算法适用于高维数据和大数据集，特别是在KNN搜索时效率更高。

  2. Q: 如何选择合适的叶子节点大小？
    A: 可以通过交叉验证或网格搜索来选择合适的叶子节点大小，一般来说，叶子节点大小越小，构建BallTree所需的内存和时间就越多，但查询速度可能会更快。

  3. Q: BallTree算法如何处理数据集的增删改操作？
    A: 在数据集增删改操作时，BallTree需要重新构建，因此对于经常变动的数据集，使用BallTree可能不太适合。

  4. Q: BallTree算法对数据分布有什么要求？
    A: BallTree算法对数据的分布不太敏感，但是对于高维数据，球树可能会受到“维度灾难”的影响，导致搜索效率下降。

  5. Q: BallTree算法的构建和查询时间复杂度是多少？
    A: BallTree算法的构建时间复杂度为O(nlogn)，其中n为数据点的数量；查询时间复杂度为O(logn + k)，其中k为最近邻的数量。

KDTree算法

KDTree算法是一种用于高维数据的最近邻搜索算法。它通过递归地将数据空间划分为k维超矩形区域（kd树）来加速最近邻搜索过程。

常用方法和参数：
  1. leaf_size: 用于指定叶子节点的大小，即叶子节点中允许的最大数据点数量。默认为40。
具体案例：
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Load the iris dataset
iris = load_iris()
X = iris.data
y = iris.target

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Initialize the KNN classifier with KDTree algorithm
knn = KNeighborsClassifier(n_neighbors=5, algorithm='kd_tree')

# Train the classifier
knn.fit(X_train, y_train)

# Make predictions
predictions = knn.predict(X_test)

# Calculate accuracy
accuracy = accuracy_score(y_test, predictions)
print("Accuracy:", accuracy)
常见问题和解决方案：

  1. Q: KDTree算法适用于哪些类型的数据？
    A: KDTree算法适用于高维数据和大数据集，特别是在KNN搜索时效率更高。

  2. Q: 如何选择合适的叶子节点大小？
    A: 可以通过交叉验证或网格搜索来选择合适的叶子节点大小，一般来说，叶子节点大小越小，构建KDTree所需的内存和时间就越多，但查询速度可能会更快。

  3. Q: KDTree算法如何处理数据集的增删改操作？
    A: 在数据集增删改操作时，KDTree需要重新构建，因此对于经常变动的数据集，使用KDTree可能不太适合。

  4. Q: KDTree算法对数据分布有什么要求？
    A: KDTree算法对数据的分布不太敏感，但是对于高维数据，kd树可能会受到“维度灾难”的影响，导致搜索效率下降。

  5. Q: KDTree算法的构建和查询时间复杂度是多少？
    A: KDTree算法的构建时间复杂度为O(nlogn)，其中n为数据点的数量；查询时间复杂度为O(logn + k)，其中k为最近邻的数量。

暴力搜索（Brute Force）

暴力搜索，也称为穷举搜索，是一种直接计算所有可能解的方法，通常用于小型数据集或者作为其他搜索算法的基准。

具体案例：
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Load the iris dataset
iris = load_iris()
X = iris.data
y = iris.target

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Initialize the KNN

 classifier with brute force algorithm
knn = KNeighborsClassifier(n_neighbors=5, algorithm='brute')

# Train the classifier
knn.fit(X_train, y_train)

# Make predictions
predictions = knn.predict(X_test)

# Calculate accuracy
accuracy = accuracy_score(y_test, predictions)
print("Accuracy:", accuracy)
常见问题和解决方案：

  1. Q: 暴力搜索算法适用于哪些类型的数据？
    A: 暴力搜索算法适用于小型数据集，对于大型数据集，其计算成本会非常高。

  2. Q: 暴力搜索算法的时间复杂度是多少？
    A: 暴力搜索算法的时间复杂度为O(nd)，其中n为数据点的数量，d为数据的维度。

  3. Q: 暴力搜索算法是否支持高维数据？
    A: 是的，暴力搜索算法可以处理高维数据，但是随着数据维度的增加，计算成本会指数级增长。

  4. Q: 如何提高暴力搜索算法的效率？
    A: 可以通过降低数据维度、减少搜索空间或者使用并行计算等方法来提高暴力搜索算法的效率。

  5. Q: 暴力搜索算法与其他搜索算法相比有何优劣势？
    A: 暴力搜索算法的优势在于简单易实现，缺点在于计算成本高，不适用于大型数据集。相比之下，BallTree和KDTree算法可以更有效地处理大型高维数据集，但是需要额外的内存和计算资源。

距离度量方式

欧氏距离（Euclidean Distance）

欧氏距离是空间中两点之间的直线距离，也是最常见的距离度量方式。

具体介绍：

欧氏距离可以通过以下公式计算：
[ Euclidean Distance = ∑ i = 1 n ( x i − y i ) 2 ] [ \text{Euclidean Distance} = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2} ] [Euclidean Distance=i=1∑n​(xi​−yi​)2 ​]

其中 ( x_i ) 和 ( y_i ) 分别是两个点的第 ( i ) 个特征值。

常见问题和解决方案：

  1. Q: 欧氏距离如何计算？
    A: 欧氏距离是通过计算两点在每个维度上的差的平方和，然后取平方根得到的。

  2. Q: 欧氏距离适用于哪些类型的数据？
    A: 欧氏距离适用于连续型特征的数据，例如测量点之间的空间距离或者特征向量之间的相似度。

  3. Q: 欧氏距离对数据分布有什么要求？
    A: 欧氏距离对数据的分布没有特殊要求，但是对于高维数据，可能存在维度灾难问题，影响距离计算的效率。

  4. Q: 如何处理特征缺失的情况？
    A: 对于缺失值，可以选择填充缺失值为均值、中位数或者使用其他插值方法。

  5. Q: 欧氏距离的单位是什么？
    A: 欧氏距离的单位与特征的单位相同。

曼哈顿距离（Manhattan Distance）

曼哈顿距离是空间中两点之间沿坐标轴的绝对距离之和。

具体介绍：

曼哈顿距离可以通过以下公式计算：

[ Manhattan Distance = ∑ i = 1 n ∣ x i − y i ∣ ] [ \text{Manhattan Distance} = \sum_{i=1}^{n} |x_i - y_i| ] [Manhattan Distance=i=1∑n​∣xi​−yi​∣]

其中 ( x_i ) 和 ( y_i ) 分别是两个点的第 ( i ) 个特征值。

常见问题和解决方案：

  1. Q: 曼哈顿距离与欧氏距离有何区别？
    A: 曼哈顿距离是沿坐标轴的绝对距离之和，而欧氏距离是直线距离，曼哈顿距离更适合在城市街区中测量两点之间的距离。

  2. Q: 曼哈顿距离适用于哪些类型的数据？
    A: 曼哈顿距离适用于连续型特征的数据，特别适用于具有网格结构的数据或者坐标型数据。

  3. Q: 曼哈顿距离对数据分布有什么要求？
    A: 曼哈顿距离对数据的分布没有特殊要求，与欧氏距离一样，也可能受到维度灾难问题的影响。

  4. Q: 如何处理特征缺失的情况？
    A: 对于缺失值，可以选择填充缺失值为均值、中位数或者使用其他插值方法。

  5. Q: 曼哈顿距离的应用场景有哪些？
    A: 曼哈顿距离常用于城市规划、交通规划以及图像处理等领域。

切比雪夫距离（Chebyshev Distance）

切比雪夫距离是空间中两点坐标数值之间的最大差值。

具体介绍：

切比雪夫距离可以通过以下公式计算：

[ Chebyshev Distance = max ⁡ ( ∣ x i − y i ∣ ) ] [ \text{Chebyshev Distance} = \max(|x_i - y_i|) ] [Chebyshev Distance=max(∣xi​−yi​∣)]

其中( x_i ) 和 ( y_i ) 分别是两个点的第 ( i ) 个特征值。

常见问题和解决方案：

  1. Q: 切比雪夫距离适用于哪些类型的数据？
    A: 切比雪夫距离适用于连续型特征的数据，特别适用于具有网格结构的数据或者坐标型数据。

  2. Q: 切比雪夫距离对数据分布有什么要求？
    A: 切比雪夫距离对数据的分布没有特殊要求，但是同样可能受到维度灾难问题的影响。

  3. Q: 切比雪夫距离与曼哈顿距离有何区别？
    A: 切比雪夫距离是沿坐标轴的最大绝对距离，而曼哈顿距离是沿坐标轴的绝对距离之和。

  4. Q: 如何处理特征缺失的情况？
    A: 对于缺失值，可以选择填充缺失值为均值、中位数或者使用其他插值方法。

  5. Q: 切比雪夫距离的应用场景有哪些？
    A: 切比雪夫距离常用于棋盘距离、棋类游戏中的位置评估、路线规划等领域。

更多问题咨询

Cos机器人

想胖的壮壮
关注
  • 36
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
R语言使用caret包的knnreg函数拟合KNN回归模型：使用predict函数和训练好的模型进行预测推理、计算回归模型的评估指标MAE、MSE、RMSE
statistics+insight+vista+power
12-12 950
R语言使用caret包的knnreg函数拟合KNN回归模型：使用predict函数和训练好的模型进行预测推理、计算回归模型的评估指标MAE、MSE、RMSE
KNNRegression
不停
03-05 1624
#一般来说，KNeighbors分类器有两个重要参数：邻居个数与数据点之间的距离的度量方法。 #在实践中一般选取较小的邻居个数（比如3到5个） #邻居个数与数据点之间的距离方法 默认使用欧式距离 #KNN算法 预测速度较慢 且不能处理具有多个数据特征的数据集 因此在实践中很少使用 #用于回归的k近邻算法在sklearn的kneighborregressor类中实现，其用法与kneighborcl...
回归方法（四）KNN回归
热门推荐
never0822的博客
12-11 1万+
分类与回归的区别：分类是判断对应类别而回归的输出是一个具体值。 KNN基本算法思路：一个样本在特征空间中k个最相似（最邻近）的样本大多数属于同一个类别。（物以类聚） 距离选取：euclidean,manhattan,minkonwski K值可以基于方根误差（RMSE）确定，启发式的找到一个最优近邻数K。 R中的实用包（FNN） 实现案例 KNN回归在R中可以使用FNN::knn.re...
学习笔记-波士顿房价预测--KNN Regression
qq_35166804的博客
05-07 3173
#学习笔记 波士顿房价预测–KNN Regression #!/usr/bin/env python -- coding: utf-8 -- author = ‘Administrator’ from sklearn.datasets import load_boston boston = load_boston() print(boston.DESCR) from sklearn.model_s...
KNN算法详解PPT及其代码.rar
12-04
这个压缩包“KNN算法详解PPT及其代码.rar”包含了一个PPT演示文稿和相关代码，为初学者提供了一个易懂的KNN算法学习资源，同时也适合那些准备面试或希望巩固基础知识的人。 PPT部分很可能会涵盖以下知识点： 1. **...
knn算法详解（附练习代码）
12-22
KNN算法 KNN算法是一个用于对数据样本进行分类预测的算法 KNN算法就是根据样本之间的距离，来对新的样本来进行分类 计算过程：将新的样本点，与历史样本点中的每一个样本点进行距离的计算 取前k个距离最近的样本点的...
01kNN_Regression
qq_42911863的博客
10-30 218
使用k近邻算法解决回归问题 根据预测点最近的k个数据点获得预测值 预测值可以是k个数据点的平均值，也可以是加权平均值 使用kNN解决回归问题，波士顿房价预测： import numpy as np import matplotlib.pyplot as plt from sklearn import datasets boston=datasets.load_boston() print(boston.DESCR) .. _boston_dataset: Boston house prices d
K近邻(K-Nearest Neighbors, KNN)回归算法(Python)
05-31
K近邻(K-Nearest Neighbors, KNN)算法既可处理分类问题，也可处理回归问题，其中分类和回归的主要区别在于最后做预测时的决策方式不同。KNN做回归预测时一般采用平均法，预测结果为最近的K个样本数据的平均值。
KNN回归算法【配有案例演示】
lyq7269的博客
09-25 8775
KNN回归算法 KNN回归算法就是给定数据集与结果，预测后面新出的数据集的结果。与前面KNN最邻近算法比较类似，最临近算法是求出预测数据集与训练数据集的每个点之间的距离，取前k个数据集的结果集，把结果集中占比大的结果作为预测结果。但是KNN回归算法，就是将前k个数据集的结果进行求平均作为预测的数据集。 图文演示 去除Id列和对应的Species列，将其他的4列特征集的前三列作为数据集，后一列作为结果集 案例演示 写KNN回归算法前的数据准备 # 导入jar包 import numpy as np impo
knn_regression_model(Python)
千颂杜伊
09-01 556
import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn import datasets from sklearn import preprocessing from sklearn.model_selection import train_test_split,GridSearchCV ...
【代码随想录_Day27】509 斐波那契数 70 爬楼梯 746 使用最小花费爬楼梯
最新发布
qq_43671872的博客
07-08 618
509 斐波那契数70 爬楼梯746 使用最小花费爬楼梯今天的题目难度不低，尽量还是写一些简洁代码 ^ _ ^
算法力扣刷题 三十一【150. 逆波兰表达式求值】
danaaaa的博客
07-04 675
后缀表示法。
【力扣】数组中的第K个最大元素
m0_61876562的博客
07-05 270
l, left]（该部分小于基准元素key）、[left + 1, right - 1]（等于基准元素key）、[right, r]（大于基准元素key）。3、计算每部分所包含的元素个数，分别为a 、b = right - left - 1、 c = r - right + 1;请注意，你需要找的是数组排序后的第。你必须设计并实现时间复杂度为。个最大的元素，而不是第。1、随机选择基准元素。
【算法】插入排序
贱贱的剑
07-03 1010
介绍了两种不同的插入排序算法，以及效率对比
LSH算法：高效相似性搜索的原理与Python实现II
uncle_ll的博客
07-02 930
lsh基于随机平面的实现
秋招力扣刷题——从前序与中序遍历序列构造二叉树
qq_50604294的博客
07-04 213
给定两个整数数组 preorder 和 inorder ，其中 preorder 是二叉树的先序遍历， inorder 是同一棵树的中序遍历，请构造二叉树并返回其根节点。：两种代码的结束条件以及分割的右区间处理方式不同，后者更容易理解一点。
KNN算法的pdf文件
11-28
简要介绍knn算法，包括模型参数，操作模型函数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值