K近邻（K-Nearest Neighbors，简称KNN）算法

最新推荐文章于 2024-05-10 06:18:09 发布
最新推荐文章于 2024-05-10 06:18:09 发布
阅读量510 收藏
点赞数 2
分类专栏： 机器学习 文章标签： 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74754298/article/details/131759296
版权

K近邻（K-Nearest Neighbors，简称KNN）算法是一种常用的分类和回归算法

  • knn算法原理

当预测一个新的值x的时候，根据它距离最近的K个点是什么类别来判断x属于哪个类别。

 注：通过多数表决进行分类

  • 距离计算

    要度量空间中点与点之间的距离，有好几种度量方式，比如常见的曼哈顿距离计算，欧式距离计算等。不过通常KNN算法中使用的是欧式距离。

    以二维平面为例：

     1、曼哈顿距离：

d=\left | x2-x1 \right |+\left | y2-y1 \right |

     2、欧氏距离：

欧氏距离其实就是我们高中时所学的两点之间距离的计算公式

d=\sqrt{(x2-x1)^{2}+(y2-y1)^{2}}

  • 代码实现

     1、基于sklearn中的鸢尾花数据集手写knn算法

import numpy as np
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 定义KNN算法类
class KNN:
    # KNN算法初始化
    def __init__(self, n_neighbors=5):
        self.n_neighbors = n_neighbors

    def fit(self, X, y):
        self.X = X
        self.y = y
                                        
    def euclidean_distance(self, x1, x2): 
        return np.sqrt(np.sum((x1 - x2) ** 2)) # 两个向量

    def predict(self, X_test):  
        y_pred = []
        for test_sample in X_test:
            distances = [self.euclidean_distance(test_sample, x) for x in self.X]
            nearest_indices:numpy.ndarray = np.argsort(distances)[:self.n_neighbors] # 排序
            nearest_labels = self.y[nearest_indices]
            unique_labels, counts = np.unique(nearest_labels, return_counts=True)# 返回值是一个包含两个数组的元组，第一个数组是唯一的标签值，第二个数组是对应每个唯一标签值的计数
            predicted_label = unique_labels[np.argmax(counts)] # np.argmax(counts)返回数组中最大元素的索引
            y_pred.append(predicted_label)
        return np.array(y_pred) # 将预测结果转换为数组并返回  

# 加载鸢尾花数据集
iris = load_iris()
x = iris.data
y = iris.target

# 划分训练集和测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=100)

# 实例化KNN算法类
knn = KNN(n_neighbors=5)

# 将训练集送入knn算法
knn.fit(x_train, y_train)

# 预测测试集
y_pred = knn.predict(x_test)

# 预测结果展示
labels = ["山鸢尾","虹膜锦葵","变色鸢尾"]   
for i in range(len(y_pred)):
    print("第%d次测试:\t预测值:%s\t\t真实值:%s"%((i+1),labels[y_pred[i]],labels[y_test[i]])) 

# 计算准确率
# accuracy_score()函数位于sklearn.metrics模块中，属于Scikit-learn库的一部分
accuracy = accuracy_score(y_test, y_pred) # accuracy_score()函数会比较真实标签值和预测标签值，并计算出准确分类的样本数占总样本数的比例，即准确率。
print("准确率:", accuracy)

运行结果：

第1次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第2次测试:	预测值:山鸢尾		真实值:山鸢尾
第3次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第4次测试:	预测值:山鸢尾		真实值:山鸢尾
第5次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第6次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第7次测试:	预测值:山鸢尾		真实值:山鸢尾
第8次测试:	预测值:山鸢尾		真实值:山鸢尾
第9次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第10次测试:	预测值:山鸢尾		真实值:山鸢尾
第11次测试:	预测值:山鸢尾		真实值:山鸢尾
第12次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第13次测试:	预测值:山鸢尾		真实值:山鸢尾
第14次测试:	预测值:山鸢尾		真实值:山鸢尾
第15次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第16次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第17次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第18次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第19次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第20次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第21次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第22次测试:	预测值:山鸢尾		真实值:山鸢尾
第23次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第24次测试:	预测值:山鸢尾		真实值:山鸢尾
第25次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第26次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第27次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第28次测试:	预测值:山鸢尾		真实值:山鸢尾
第29次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第30次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第31次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第32次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第33次测试:	预测值:虹膜锦葵		真实值:变色鸢尾
第34次测试:	预测值:山鸢尾		真实值:山鸢尾
第35次测试:	预测值:山鸢尾		真实值:山鸢尾
第36次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第37次测试:	预测值:山鸢尾		真实值:山鸢尾
第38次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第39次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第40次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第41次测试:	预测值:山鸢尾		真实值:山鸢尾
第42次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第43次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第44次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第45次测试:	预测值:山鸢尾		真实值:山鸢尾
准确率: 0.9777777777777777

     2、基于sklearn中的鸢尾花数据集掉包实现knn算法

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
import matplotlib.pyplot as plt
import random
from pylab import mpl
# 设置显示中文字体
mpl.rcParams["font.sans-serif"]=["SimHei"]
# 设置正常显示符号
mpl.rcParams["axes.unicode_minus"]=False


"""
利用KNN算法对鸢尾花进行分类
"""

# 获取鸢尾花数据 三个类别(山鸢尾/0，虹膜锦葵/1，变色鸢尾/2)，每个类别50个样本，每个样本四个特征值(萼片长度，萼片宽度，花瓣长度，花瓣宽度)
def get_iris_data():
    iris = load_iris()
    iris_data = iris.data # 特征值
    iris_target = iris.target # 目标值(类别)
    return iris_data, iris_target

def run():
    # 1.获取鸢尾花的特征值，目标值
    iris_data, iris_target = get_iris_data()
    # 2.将数据分割成训练集和测试集 test_size=0.25表示将25%的数据用作测试集,random_state不同的随机种子会在数据集中抽取不同的20%作为测试集
    x_train, x_test, y_train, y_test = train_test_split(iris_data, iris_target, test_size=0.3,random_state=100)
    # x_train:训练集特征值，x_test:测试集特征值，y_train:训练集目标值，y_test:测试集目标值
        

    # 4.knn算法
    knn = KNeighborsClassifier(n_neighbors=5) # 创建一个KNN分类器，n_neighbors默认为5,后续通过网格搜索获取最优参数 
    knn.fit(x_train, y_train) # 将测试集送入算法
    y_predict = knn.predict(x_test) # 获取预测结果
    print(f"预测结果：{y_predict}")
    # 预测结果展示
    labels = ["山鸢尾","虹膜锦葵","变色鸢尾"]   
    for i in range(len(y_predict)):
        print("第%d次测试:\t预测值:%s\t\t真实值:%s"%((i+1),labels[y_predict[i]],labels[y_test[i]]))
    print("准确率：",knn.score(x_test, y_test))
        
get_iris_data()
run()



'''
运行结果：
预测结果：[2 0 2 0 2 2 0 0 2 0 0 2 0 0 2 1 1 1 2 2 2 0 2 0 1 2 1 0 1 2 1 1 1 0 0 1 0
 1 2 2 0 1 2 2 0]
第1次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第2次测试:	预测值:山鸢尾		真实值:山鸢尾
第3次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第4次测试:	预测值:山鸢尾		真实值:山鸢尾
第5次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第6次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第7次测试:	预测值:山鸢尾		真实值:山鸢尾
第8次测试:	预测值:山鸢尾		真实值:山鸢尾
第9次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第10次测试:	预测值:山鸢尾		真实值:山鸢尾
第11次测试:	预测值:山鸢尾		真实值:山鸢尾
第12次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第13次测试:	预测值:山鸢尾		真实值:山鸢尾
第14次测试:	预测值:山鸢尾		真实值:山鸢尾
第15次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第16次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第17次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第18次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第19次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第20次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第21次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第22次测试:	预测值:山鸢尾		真实值:山鸢尾
第23次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第24次测试:	预测值:山鸢尾		真实值:山鸢尾
第25次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第26次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第27次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第28次测试:	预测值:山鸢尾		真实值:山鸢尾
第29次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第30次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第31次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第32次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第33次测试:	预测值:虹膜锦葵		真实值:变色鸢尾
第34次测试:	预测值:山鸢尾		真实值:山鸢尾
第35次测试:	预测值:山鸢尾		真实值:山鸢尾
第36次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第37次测试:	预测值:山鸢尾		真实值:山鸢尾
第38次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第39次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第40次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第41次测试:	预测值:山鸢尾		真实值:山鸢尾
第42次测试:	预测值:虹膜锦葵		真实值:虹膜锦葵
第43次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第44次测试:	预测值:变色鸢尾		真实值:变色鸢尾
第45次测试:	预测值:山鸢尾		真实值:山鸢尾
准确率： 0.9777777777777777
'''

     3、基于sklearn中的鸢尾花数据集掉包实现二维数据可视化

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
import matplotlib.pyplot as plt
import random
from pylab import mpl
# 设置显示中文字体
mpl.rcParams["font.sans-serif"]=["SimHei"]
# 设置正常显示符号
mpl.rcParams["axes.unicode_minus"]=False

# 获取鸢尾花数据集
iris = load_iris()
x = iris.data[:, :2]  # 只使用前两个特征
y = iris.target

# 定义KNN分类器
knn = KNeighborsClassifier(n_neighbors=5)

# 将数据集送入算法
knn.fit(x, y)
       
# 可视化数据集
plt.figure(figsize=(8,8),dpi=100) # 创建画布
''' 
x[:, 0]表示取特征矩阵x的所有行的第一个特征（萼片长度），
x[:, 1]表示取特征矩阵x的所有行的第二个特征（萼片宽度）。
'''
plt.scatter(x[:, 0], x[:, 1], c=y) # 绘制图像 , cmap='coolwarm'
plt.xlabel('萼片长度') # 修改x轴显示
plt.ylabel('萼片宽度') # 修改y轴显示
plt.title('鸢尾花数据集二维数据可视化') # 添加标题
# plt.grid(linestyle='--',alpha=0.5) # 添加网格
plt.show()

运行结果：

      4、基于sklearn中的鸢尾花数据集掉包实现k折交叉验证

k折交叉验证（k-fold cross-validation）是一种常用的模型评估方法，用于评估机器学习模型的性能和泛化能力。它的步骤如下：

①将原始数据集分成k个大小相等的子集（折），其中k-1个子集作为训练集，剩下的1个子集作为验证集。
② 对于每个子集，使用其余的k-1个子集作为训练集来训练模型，然后使用该子集作为验证集来评估模型的性能。
③ 重复步骤2，直到每个子集都充当过一次验证集。
④ 计算k次验证结果的平均值作为模型的性能评估指标。

k折交叉验证的优点：
① 更准确的模型评估：通过对数据集进行多次划分和验证，可以更准确地评估模型的性能和泛化能力。
②充分利用数据：k折交叉验证允许每个样本都充当过训练集和验证集，充分利用了数据集的信息。

k折交叉验证的缺点：
① 计算开销较大：进行k次模型训练和验证比单次训练和验证更加耗时。
② 可能引入一定的方差：由于每次划分的训练集和验证集不同，模型的性能评估结果可能存在一定的方差。

k折交叉验证是一种常用的模型评估方法，可以帮助选择合适的模型和调优模型的参数，提高模型的泛化能力。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, GridSearchCV,cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
import matplotlib.pyplot as plt
import random
from pylab import mpl
# 设置显示中文字体
mpl.rcParams["font.sans-serif"]=["SimHei"]
# 设置正常显示符号
mpl.rcParams["axes.unicode_minus"]=False

# 获取鸢尾花数据集
iris = load_iris()
x = iris.data
y = iris.target 

# 创建KNN分类器
knn = KNeighborsClassifier(n_neighbors=5)

# 使用交叉验证评估模型性能
'''
cross_val_score函数用于评估模型在不同训练集上的性能，它会将数据集分成多个子集（称为折），然后在每个子集上进行训练和测试。
cross_val_score函数会返回一个数组，其中包含每个子集的评估结果
'''
scores = cross_val_score(knn, x, y, cv=5)  # 5折交叉验证

# 输出每次交叉验证的准确率
print("每次交叉验证的准确率:", scores) 

# 输出平均准确率和标准差
print("平均准确率:", np.mean(scores))
print("准确率标准差:", np.std(scores))


'''
运行结果：
每次交叉验证的准确率: [0.96666667 1.         0.93333333 0.96666667 1.        ]
平均准确率: 0.9733333333333334
准确率标准差: 0.02494438257849294
'''
  • 优缺点分析

优点：

1. 简单直观：KNN算法的思想简单明了，易于理解和实现。

2. 无需训练过程：KNN是一种基于实例的学习方法，不需要显式地进行训练，而是根据训练数据集直接进行预测。

3. 对数据分布没有假设：KNN算法对数据分布没有假设，适用于各种类型的数据。

4. 可以进行多分类：KNN算法可以处理多分类问题，并且在类别不平衡的情况下也能有效工作。

缺点：

1. 计算复杂度高：KNN算法需要计算测试样本和所有训练样本之间的距离，当样本规模较大时，计算复杂度较高。

2. 存储开销大：KNN算法需要保存所有的训练样本，对内存要求较高。

3. 预测速度慢：由于需要计算距离并比较所有训练样本，KNN算法的预测速度相对较慢。

4. 对异常值敏感：KNN算法对异常值敏感，如果训练集中有噪声或异常值，可能会对预测结果产生较大影响。

5. 需要确定K值：KNN算法中的K值需要人为设定，选择不当可能导致预测结果不准确。

总的来说，KNN算法是一种简单易懂、灵活、适用于多分类问题的算法，但在计算和存储开销、预测速度等方面存在一些缺点。

Angostura886
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pythonK近邻算法（k-Nearest Neighbors，KNN）解决分类问题
01-09
Python K近邻算法（K-Nearest Neighbors，KNN）是机器学习中的一种简单而强大的监督学习方法，常用于解决分类问题。这个算法的基本思想是：一个样本的类别由其最近的K个邻居的类别决定，其中K通常取奇数以避免平局。...
k最近邻算法——电影分类及案例详解
ZhShy
06-12 3207
如图3-7所示，若将国际象棋棋盘放在二维直角坐标系中，格子的边长定义为1，坐标的x轴及y轴和棋盘方格平行，原点恰落在某一格的中心点，则王从一个位置走到其他位置需要的步数恰为二个位置的切比雪夫距离，因此切比雪夫距离也称为棋盘距离。关于这里的距离度量，这个电影分类的例子有2个特征，也就是2维的，可以使用我们高中学过的两点距离公式（两点距离公式其实就是欧氏距离在二维空间上的公式，也就是欧氏距离n的值为2的情况，欧氏距离也称为欧几里德距离）来计算距离，如图3-3所示。对数据进行归一化，避免量纲对计算距离的影响。
【机器学习】K近邻算法（K-NearestNeighbors , KNN）详解 + Java代码实现
知不足而奋进，望远山而前行
01-09 2万+
邻近算法，或者说K最邻近（KNN，K-NearestNeighbors）分类算法是分类方法中最简单的方法之一。所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法。KNN 最初由 Cover 和 Hart 于1968年提出，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。
【机器学习】分类算法 - KNN算法（K-近邻算法）KNeighborsClassifier
2401_84563933的博客
05-10 719
接下来对鸢尾花的特征值（iris.data）和目标值（iris.target）进行「划分」，测试集为60%，训练集为40%。接下来，对训练集和测试集的特征值进行「标准化」处理（训练集和测试集所做的处理必须完全「相同」）。从打印结果可以看到，测试集的样本数是38，训练集的样本数是112，划分比例符合预期。这里使用sklearn自带的鸢尾花「数据集」，它是分类最常用的分类试验数据集。从打印的数据集可以看到，鸢尾花数据集有4个「属性」，这里解释一下属性的含义。从打印结果可以看到，特征值发生了相应的变化。
【k近邻】 K-Nearest Neighbors算法汇总
Frost_Descent的博客
02-21 968
女性脚43码的可能性远远小于男性脚43码的可能性，算法却错误地预测F为女性，这不是算法的问题，这是各个特征量纲不同的问题，这里量纲直接导致身高的权重远大于脚码的权重，进而导致预测错误。例如下图展现了两类样本数据，分别由正方形和三角形表示，待分类数据由圆形表示，算法的目的是依据已知的样本数据判断待分类数据的类别，即对圆形数据分类。A [(179,42),男]，B [(178,43),男]，C [(165,36)女]，D [(177,42),男]，E [(160,35),女]，取每一轴上的最大值减最小值。
机器学习算法：K近邻(k-nearest neighbors)
qq_27328197的博客
12-21 1402
文章目录1、KNN的介绍2、KNN的应用 1、KNN的介绍 kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。 示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋.
K近邻 K-Nearest Neighbors
JasonH2021的博客
05-27 3086
本文主要简单介绍了K近邻的基本概念，优缺点，应用场景，K近邻建模的python实现方法，示例和模型的参数等。
k-nearest neighbor(kNN,k近邻算法)理论与实操及KNeighborsClassifier参数详解
zero33325的博客
08-22 9499
1. k-NN算法简介 k近邻法是基本且简单的分类与回归方法，利用数据集对特征向量空间进行划分，可以进行多分类。如下图： 三角形与矩形分别代表两类数据，标签已知。现要对新输入的为分类点(绿色)进行分类，k-NN的做法是寻找与该绿点相邻最近的k个点(k-NN算法的k的含义，图中的距离为欧式距离)，然后通过多数表决的方式把绿点划分到这k个最近点出现频数最高的类。例如如果k取3，则绿点最近的3个点中频数最高为三角形类，所以归为三角形类；若k取5，则距离绿点最近的5个点中频数最高为矩形类，所以归绿点为矩形类。 1.
k-Nearest Neighbors (kNN) Regressor
04-22
k-最近邻（k-Nearest Neighbors，简称kNN）是一种监督学习方法，常用于分类和回归问题。在kNN回归中，我们关注的是预测连续数值型的目标变量，而非离散的类别。这个算法基于一个简单直观的原理：未知数据点的输出值...
K近邻(K-Nearest Neighbors, KNN)分类算法(Python)
05-31
K近邻(K-Nearest Neighbors, KNN)算法既可处理分类问题，也可处理回归问题，其中分类和回归的主要区别在于最后做预测时的决策方式不同。KNN做分类预测时一般采用多数表决法，即训练集里和预测样本特征最近的K个样本...
K近邻(K-Nearest Neighbors, KNN)回归算法(Python)
05-31
K近邻(K-Nearest Neighbors, KNN)算法既可处理分类问题，也可处理回归问题，其中分类和回归的主要区别在于最后做预测时的决策方式不同。KNN做回归预测时一般采用平均法，预测结果为最近的K个样本数据的平均值。
k-Nearest Neighbors (kNN) Regressor：使用 kNN 进行简单和多重回归-matlab
最新发布
06-17
k-最近邻（k-Nearest Neighbors, kNN）是一种简单而强大的机器学习算法，主要应用于分类和回归任务。在本主题中，我们将重点讨论如何在MATLAB环境中使用kNN进行简单和多重回归分析。 **一、kNN回归基础** kNN回归...
K近邻算法（K-Nearest Neighbors, KNN）原理详解与应用
weixin_43749805的博客
06-20 1940
KNN算法基于一个简单的思想：相似的样本具有相似的类别。它通过计算新样本与训练集中各个样本的距离，并选择最近邻的K个样本来进行分类或回归。
机器学习笔记：k近邻算法介绍及基于scikit-learn的实验
chenxy_bwave的专栏
12-26 2050
kNN(k-Nearest Neighbors)算法，即k近邻算法可以说是最简单的机器学习算法，简单到kNN算法模型的构建都不需要训练，收集有标签数据样本就完事了！kNN算法的核心思想是：未知样本对应的target值由“距离”其最近的“k”个样本按照既定的“决策机制”进行决定。正所谓：近朱者赤近墨者黑。本文结合基于scikit-learn的代码实验对kNN算法做一个基本的介绍.
sklearn.neighbors.KNeighborsClassifier()函数解析（最清晰的解释）
热门推荐
种树最好的时间是10年前，其次是现在！！！
08-20 4万+
sklearn.neighbors.KNeighborsClassifier()函数用于实现k近邻投票算法的分类器。 class sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=’uniform’, algorithm=’auto’, leaf_size=30, p=2, m...
K近邻（KNN）算法（算法原理＋简单的实现）
m0_63180382的博客
10-09 4292
根据选择的距离度量（如曼哈顿距离或欧氏距离），可计算测试实例与训练集中的每个实例点的距离，根据k值选择k个最近邻点，最后根据分类决策规则将测试实例分类。因为在k近邻算法中，预测结果是通过与目标数据点距离最近的k个邻居的标签值来确定的。如下图，根据欧氏距离，选择k=4个离测试实例最近的训练实例（红圈处），再根据多数表决的分类决策规则，即这4个实例多数属于“-类”，可推断测试实例为“-类”。平均法：在回归问题中，KNN算法采用平均法来预测待回归样本的输出值，即选择K个邻居的输出值的平均值作为待回归样本的输出。
K近邻算法(KNN)&&K-means聚类算法
h2728677716的博客
03-11 4388
1.思想： 初始随机给定K（超参数）个簇中心，这K个簇中心是在样本点中随机选择。 按照最邻近原则把待分类的样本点分到各个簇。 划分完成后按平均法重新计算各个簇的质心，从而在确定新的簇心。 一直迭代，直到簇心的移动距离小于某个给定的值。 2.k-means算法评价准则：误差平方和准则，误差平方和达到最优（小）时，可以使类内尽可能紧凑，聚类之间尽可能分开。 loss损失：是一个非凸函数，所以有许多最小值，不一定每次都能落到全局最优，有可能落到局部最优。 k:簇的个数 Ci:某个簇
KNN算法
_Seven°的博客
10-29 2万+
KNN即K-NearestNeighbor，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻近值来代表。 1 KNN算法 1.1 定义 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 1.2 距离公式 两个样本的距离可以通过如下公式计算，又叫欧式距离。 欧氏距离计算公式如下： 比如存在点a(x1, y1, z1)， b(x2, y2, z2)两个点，则a到b的距离为: 2 电影类型分析 ..
K近邻算法(KNN)
09-11
K近邻算法（K-Nearest Neighbors，简称KNN）是一种基本的分类和回归算法。它通过计算待分类样本点与训练集中的样本点之间的距离，并选取距离最近的K个样本点作为邻居，依据邻居的类别进行分类或者回归。 在分类问题...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值