机器学习二——knn临近算法

                                          Knn临近算法

Knn临近算法的定义：

邻近算法，或者说K最邻近（KNN，K-NearestNeighbor）分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法 。

Knn临近算法的优缺点：

优点：

1. 简单易懂: KNN算法是一种非常直观和易于理解的算法。它没有复杂的数学模型，只需要计算距离并进行简单的统计操作。

2. 无参数化: KNN算法是一种无参数化的算法，不需要对数据做任何假设或进行训练。这使得它可以适用于各种类型的数据和问题。

3. 适用性广泛: KNN算法可以用于分类和回归问题，并且可以处理多类别和多输出问题。

缺点：

1. 计算开销大: 在预测阶段，KNN算法需要计算待预测样本与所有训练样本之间的距离。当训练集很大时，计算开销会很高。

2. 存储开销大: KNN算法需要保存整个训练集作为模型，因此，在处理大规模数据集时，存储开销会很高。

基本流程描述：

• 计算当前点与所有点之间的距离
• 距离按照升序排列
• 选取距离最近的K个点
• 统计这K个点所在类别出现的频率
• 这K个点中出现频率最高的类别作为预测的分类

训练集：

# 训练集

X_train = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])

y_train = np.array(['A', 'B', 'A', 'B'])

X_test = np.array([[4, 5], [2, 3]])

计算当前点与所有点之间的距离（欧式距离）：

# 计算待分类样本与训练集中每个样本的距离

distances = [euclidean_distance(x, x_train) for x_train in self.X_train]

距离按照升序排列：

# 按照升序排列距离，并获取对应的索引

sorted_indices = np.argsort(distances)

选取距离最近的K个点：

# 取出距离最近的k个样本的索引

k_indices = sorted_indices[:self.k]

统计这K个点所在类别出现的频率：

# 获取k个邻居的标签

k_nearest_labels = [self.y_train[i] for i in k_indices]

# 对k个邻居的标签进行统计，选择出现次数最多的类别作为预测结果

most_common = Counter(k_nearest_labels).most_common(1)

这K个点中出现频率最高的类别作为预测的分类：

# 对k个邻居的标签进行统计，选择出现次数最多的类别作为预测结果

most_common = Counter(k_nearest_labels).most_common(1)

完整代码：

import numpy as np

from collections import Counter

def euclidean_distance(x1, x2):

    return np.sqrt(np.sum((x1 - x2)**2))

class KNN:

    def __init__(self, k=3):

        self.k = k

    def fit(self, X, y):

        self.X_train = X

        self.y_train = y

    def predict(self, X):

        y_pred = [self._predict(x) for x in X]

        return np.array(y_pred)

    def _predict(self, x):

        # 计算待分类样本与训练集中每个样本的距离

        distances = [euclidean_distance(x, x_train) for x_train in self.X_train]

        # 按照升序排列距离，并获取对应的索引

        sorted_indices = np.argsort(distances)

        # 取出距离最近的k个样本的索引

        k_indices = sorted_indices[:self.k]

        # 获取k个邻居的标签

        k_nearest_labels = [self.y_train[i] for i in k_indices]

        # 对k个邻居的标签进行统计，选择出现次数最多的类别作为预测结果

        most_common = Counter(k_nearest_labels).most_common(1)

        return most_common[0][0]

# 训练集

X_train = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])

y_train = np.array(['A', 'B', 'A', 'B'])

X_test = np.array([[4, 5], [2, 3]])

# 创建KNN模型并进行训练

knn = KNN(k=3)

knn.fit(X_train, y_train)

# 预测测试数据的分类

y_pred = knn.predict(X_test)

# 输出预测结果

print("预测结果：", y_pred)

knn临近算法中出现的问题：

数据不匹配——在训练集和测试集中的特征数量不匹配时，可能会导致错误。例如，如果训练集中的每个样本都有两个特征，而测试集中的某个样本有三个特征，那么计算距离时会引发错误。

输入数据类型错误——如果输入的训练集或测试集的数据类型不是NumPy数组，则可能会引发错误。因此，在使用这段代码之前，需要确保输入数据的类型正确。

总结：

总之，KNN算法是一种简单而强大的监督学习算法，可以用于解决分类和回归问题。尽管KNN算法存在一些限制，但通过合适的参数选择和数据预处理，可以克服这些限制并获得令人满意的结果。