机器学习基础算法一：KNN算法分类实验

最新推荐文章于 2024-05-22 11:35:45 发布
最新推荐文章于 2024-05-22 11:35:45 发布
阅读量4.8k 收藏 23
点赞数
分类专栏： 机器学习基础算法 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46501404/article/details/109840468
版权

【KNN分类实验】

什么是KNN？

  • 概念： KNN（K-nearest neighbor），即K近邻算法。当需要一个样本（值）的时候，就使用与该样本最接近的K个邻居来决定。KNN既可用于分类，也能用于回归。（“近”朱者赤，“近”墨者黑）
    在这里插入图片描述
  • KNN算法的实现过程：
    1. 从训练集中选择离待预测样本最近的k个样本。
    2. 根据这k个样本计算待预测样本的值（属于哪个类别或者一个具体数值）。
      在这里插入图片描述
      k的取值会影响分类的结果，如上图所示，k取最里面圆圈的大小则三角形多正方形少，则把圆形归类于三角形一类。如果k取虚线圆圈的大小，正方形多，三角形少，则把圆形归类于正方形一类

算法实现：

  • 要进行knn的实验，首先得要有可用的数据集，这里可以去网上下载经典的鸢尾花数据集进行实验，在csdn中搜索“鸢尾花数据集”就可以找到很多好心博主的分享，随便找一个下载即可。
    一、导入数据集

    import numpy as np
import pandas as pd   # 导入包
data = pd.read_csv(r"E:\Machine learning data\Iris\Iris.csv",header=0)  # 读取数据集
print（data）
    • E:\Machine learning data\Iris\Iris.csv 是我的数据集存放路径，你们自己的存放位置可以自己去找到然后复制路径粘贴过来，还有一点要注意的是保存的路径都是英文比较好（就是你的文件夹用英文取名）。
    • 打印结果：在这里插入图片描述
      打印的结果被省略了很多内容，应该是pandas函数对初始对显示的行数列数和宽度有限制。通过增加这几行代码就能显示所有的内容了：
      pd.set_option('display.max_rows', 1000) #增加行数
      pd.set_option('display.max_columns', 1000) #增加列数
      pd.set_option('display.width', 1000) #增加每行宽度
    • 更改后的代码：
      import numpy as np
import pandas as pd   # 导入包
pd.set_option('display.max_rows', 1000)
pd.set_option('display.max_columns',1000)
pd.set_option('display.width', 1000)  #增加表格的列数行数和每行的宽度以此让数据集完整表示
data = pd.read_csv(r"E:\Machine learning data\Iris\Iris.csv",header=0)  #读取数据集,header参数用来指定标题的行,默认值是0。如果没有标题则使header=None
print (data)
# print(data.head(10))  # 显示数据集前十行
# print(data.tail(10))  # 显示数据集后十行
# print(data.sample(2))  # 随机抽取2个样本

    二、对原始数据集进行处理，把文本映射成数值便于后面数据的使用

    • 映射代码 ：
      data["Species"] = data["Species"].map({"setosa": 0,"versicolor": 1,"virginica": 2})  #把花的种类名称映射成数字
print(data.sample(20))
    • 打印结果：
      在这里插入图片描述
      可以发现Species那一列的名称变成了数字表示。

    三、对数据集金进一步处理

    • 删除无用的列：
      data.drop("Unnamed: 0",axis=1,inplace=True)  # 删除没有用的 Unamed： 0 的那一列
    • 检查数据集中有无重复的数据，并删除无用的数据：
      print(data.duplicated().any()) #检查数据集中有没有重复的数据
data.drop_duplicates(inplace=True)  # 删除数据集中的重复数据
    • 我们在运用机器学习的方法来分析数据时，首要的步骤就是处理原始的数据，使得原始的数据可以被机器学习方法所使用。

    四、初始化

    class KNN:
"""使用Python语言实现k近邻算法。（实现分类）"""
def __init__(self, k):
    """初始化方法
    parameters
    -----
    k : int
        邻居的个数。
    """
    self.k = k   #用当前的k来初始化KNN对象中的k

    五、训练方法

    def fit(self, X, y):   # 训练样本中X是大写的，而标签y是小写的，因为矩阵习惯用大写字母表示，向量习惯用小写字母来表示。
    """训练方法
    Parameters
    -----
    X: 类数组类型，形状为：[样本数量，特征的数量]
        带训练的样本特征（属性）
    y：类数组类型，形状为：[样本数量]
        每个样本的目标值（标签）
    """
    self.X = np.asarray(X)  # 把X,y转化成ndarray数组类型。
    self.y = np.asarray(y)

    六、预测

     def predict(self,X):
    """根据参数传递的样本，对样本数据进行预测。
    Parameters
    ------
    X: 类数组类型，形状为：[样本数量，特征的数量]
        带训练的样本特征（属性）
    Returns
    ------
    result:数组类型
        预测的结果
    """
    X = np.array(X)
    result = []
    # 对ndarray数组进行遍历，每次取数组中的一行。
    for x in X:
        # 求测试集中的每个样本与训练集中所有点的距离。
        # x代表测试集中的一行，X代表训练集中的所有行。ndarray数组可以自己广播扩展然后对位运算。
        dis = np.sqrt(np.sum((x - self.X) ** 2,axis=1))
        # argsort可以将数组排序后，每个元素在原数组中的索引位置。
        index = dis.argsort()
        # 进行截断，只取前k个元素【取距离最近的k个元素的索引】
        index = index[:self.k]
        # 返回数组中每个元素出现的次数。元素必须是非负的整数。
        count = np.bincount(self.y[index])
        #  返回ndarray数组中，值最大的元素对应的索引，该索引就是我们判定的类别。
        result.append(count.argmax())
    return np.asarray(result)

    七、测试KNN的分类效果

    • 首先要将初始的数据分成训练集和测试集两部分。
    # 提取出每个类别花的数据
t0 = data[data["Species"] == 0]
t1 = data[data["Species"] == 1]
t2 = data[data["Species"] == 2]
# 对每个类别的数据进行洗牌，random_state是对这个打乱顺序的一个记录。
t0 = t0.sample(len(t0), random_state=0)
t1 = t1.sample(len(t1), random_state=0)
t2 = t2.sample(len(t2), random_state=0)
#构建训练集和测试集
train_X = pd.concat([t0.iloc[:40,:-1],t1.iloc[:40,:-1],t2.iloc[:40,:-1]],axis=0)
train_y = pd.concat([t0.iloc[:40,-1],t1.iloc[:40,-1],t2.iloc[:40,-1]],axis=0)
text_X = pd.concat([t0.iloc[40:,:-1],t1.iloc[40:,:-1],t2.iloc[40:,:-1]],axis=0)
text_y = pd.concat([t0.iloc[40:,-1],t1.iloc[40:,-1],t2.iloc[40:,-1]],axis=0)
    • 测试分类结果的准确性
    # 创建KNN对象，进行训练与测试
knn = KNN(k=3)
# 进行训练
knn.fit(train_X,train_y)
# 进行测试获得测试的结果
result = knn.predict(test_X)
print(result)  # 打印预测的结果
print(test_y)  # 打印原来测试的答案
print(result == test_y)  # 直接判断是否预测正确
print(np.sum(result == test_y))  # 进行求和运算看分类对了多少个
print(len(result))
print(np.sum(result == test_y)/len(result))
    • 结果截图
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述

    八、可视化操作

    #可视化操作
import matplotlib as mpl
import matplotlib.pyplot as plt
# 默认情况下，matplotlib不支持中文显示，我们需要进行设置
# 设置字体为黑体，以支持中文显示。
mpl.rcParams["font.family"] = "SimHei"
# 设置在中文字体时，能够正常的显示负号(-)
mpl.rcParams["axes.unicode_minus"] = False

# {"setosa": 0, "versicolor": 1, "virginica": 2}
# 绘制训练集数据
plt.scatter(x=t0["Sepal.Length"][:40],y=t0["Petal.Length"][:40],color='r',label="setosa")
plt.scatter(x=t1["Sepal.Length"][:40],y=t1["Petal.Length"]	[:40],color='g',label="versicolor")
plt.scatter(x=t2["Sepal.Length"][:40],y=t2["Petal.Length"][:40],color='b',label="virginica")
plt.show()  # 显示图片得有这一句
    • 要显示图像的话需要加上代码 plt.show()
    • 图像截图如下：
      在这里插入图片描述

    九、完整代码

    import numpy as np
import pandas as pd  # 导入包
import pandas as pd

pd.set_option('display.max_rows', 500)
pd.set_option('display.max_columns', 500)
pd.set_option('display.width', 1000)  # 增加表格的列数行数和每行的宽度以此让数	据集完整表示
data = pd.read_csv(r"E:\Machine learning data\Iris\Iris.csv", header=0)  # 读取数据集,header参数用来指定标题的行，默认值是0。如	果没有标题则使header=None
# print(data.head(10))  # 显示数据集前十行
# print(data.tail(10))  # 显示数据集后十行
# print(data.sample(2))  # 随机抽取2个样本
data["Species"] = data["Species"].map({"setosa": 0, "versicolor": 1, "virginica": 2})  # 把花的种类名称映射成数字
data.drop("Unnamed: 0", axis=1, inplace=True)  # 删除没有用的 Unamed： 0 的那一列


# print(data.duplicated().any()) #检查数据集中有没有重复的数据
# data.drop_duplicates(inplace=True)  # 删除数据集中的重复数据
# print(len(data))  # 查看数据的总条数
# print(data.sample(20)) # 随机显示数据
# print(data["Species"].value_counts())  # 显示每个类别的记录各有多少个


class KNN:
"""使用Python语言实现k近邻算法。（实现分类）"""
def __init__(self, k):
    """初始化方法
    parameters
    -----
    k : int
        邻居的个数。
    """
    self.k = k   #用当前的k来初始化KNN对象中的k

def fit(self, X, y):   # 训练样本中X是大写的，而标签y是小写的，因为矩阵习惯用大写字母表示，向量习惯用小写字母来表示。
    """训练方法
    Parameters
    -----
    X: 类数组类型，形状为：[样本数量，特征的数量]
        带训练的样本特征（属性）
    y：类数组类型，形状为：[样本数量]
        每个样本的目标值（标签）
    """
    self.X = np.asarray(X)  # 把X,y转化成ndarray数组类型。
    self.y = np.asarray(y)

def predict(self,X):
    """根据参数传递的样本，对样本数据进行预测。
    Parameters
    ------
    X: 类数组类型，形状为：[样本数量，特征的数量]
        带训练的样本特征（属性）
    Returns
    ------
    result:数组类型
        预测的结果
    """
    X = np.array(X)
    result = []
    # 对ndarray数组进行遍历，每次取数组中的一行。
    for x in X:
        # 求测试集中的每个样本与训练集中所有点的距离。
        # x代表测试集中的一行，X代表训练集中的所有行。ndarray数组可以自己广播扩展然后对位运算。
        dis = np.sqrt(np.sum((x - self.X) ** 2,axis=1))
        # argsort可以将数组排序后，每个元素在原数组中的索引位置。
        index = dis.argsort()
        # 进行截断，只取前k个元素【取距离最近的k个元素的索引】
        index = index[:self.k]
        # 返回数组中每个元素出现的次数。元素必须是非负的整数。[使用weights考虑权重，权重为距离的倒数]
        count = np.bincount(self.y[index],weights=1/dis[index])
        #  返回ndarray数组中，值最大的元素对应的索引，该索引就是我们判定的类别。
        result.append(count.argmax())
    return np.asarray(result)

# 提取出每个类别花的数据
t0 = data[data["Species"] == 0]
t1 = data[data["Species"] == 1]
t2 = data[data["Species"] == 2]
# 对每个类别的数据进行洗牌，random_state是对这个打乱顺序的一个记录。
t0 = t0.sample(len(t0), random_state=0)
t1 = t1.sample(len(t1), random_state=0)
t2 = t2.sample(len(t2), random_state=0)
#构建训练集和测试集
train_X = pd.concat([t0.iloc[:40,:-1],t1.iloc[:40,:-1],t2.iloc[:40,:-1]],axis=0)
train_y = pd.concat([t0.iloc[:40,-1],t1.iloc[:40,-1],t2.iloc[:40,-1]],axis=0)
test_X = pd.concat([t0.iloc[40:,:-1],t1.iloc[40:,:-1],t2.iloc[40:,:-1]],axis=0)
test_y = pd.concat([t0.iloc[40:,-1],t1.iloc[40:,-1],t2.iloc[40:,-1]],axis=0)
# 创建KNN对象，进行训练与测试
knn = KNN(k=3)
# 进行训练
knn.fit(train_X,train_y)
# 进行测试获得测试的结果
result = knn.predict(test_X)
print(result)  # 打印预测的结果
print(test_y)  # 打印原来测试的答案
print(result == test_y)  # 直接判断是否预测正确
print(np.sum(result == test_y))  # 进行求和运算看分类对了多少个
print(len(result))
print(np.sum(result == test_y)/len(result))
#可视化操作
import matplotlib as mpl
import matplotlib.pyplot as plt
# 默认情况下，matplotlib不支持中文显示，我们需要进行设置
# 设置字体为黑体，以支持中文显示。
mpl.rcParams["font.family"] = "SimHei"
# 设置在中文字体时，能够正常的显示负号(-)
mpl.rcParams["axes.unicode_minus"] = False

# {"setosa": 0, "versicolor": 1, "virginica": 2}
# 绘制训练集数据
plt.scatter(x=t0["Sepal.Length"][:40],y=t0["Petal.Length"][:40],color='r',label="setosa")
plt.scatter(x=t1["Sepal.Length"][:40],y=t1["Petal.Length"][:40],color='g',label="versicolor")
plt.scatter(x=t2["Sepal.Length"][:40],y=t2["Petal.Length"][:40],color='b',label="virginica")
# 绘制测试集数据
right = test_X[result == test_y]
wrong = test_X[result != test_y]
plt.scatter(x=right["Sepal.Length"],y=right["Petal.Length"],color='c',marker=">",label="right")
plt.scatter(x=wrong["Sepal.Length"],y=wrong["Petal.Length"],color='m',marker="x",label="wrong")
plt.xlabel("花萼长度")
plt.ylabel("花瓣长度")
plt.title("KNN分类结果显示")
plt.legend(loc="best")
plt.show()  # 显示图片得有这一句

    十、最后实验截图
    在这里插入图片描述

YzYzYzzzzz
关注
  • 0
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用KNN模型进行多输出分类实战（Multioutput Classification）
data+scenario+science+insight
07-01 741
使用KNN模型进行多输出分类实战（Multioutput Classification） 多输出分类（Multioutput Classification）也常被称为：multioutput-multiclass classification 例如，我们识别一张图片中的动物，我们发现有三之猫，两匹马，可是猫自己内部还有分类（黑猫、白猫、花猫、“龙猫”等），马儿也一样，可以有很多分类（阿拉伯马、汗血宝马、蒙古马、川西马、“千里马”等）； 此处：“龙猫”和“千里马”为玩笑话切勿当真。 此
机器学习算法—KNN算法原理
weixin_44355063的博客
01-06 655
机器学习算法—KNN算法原理 概述： KNN算法一般也会经常被称为K邻近算法，其核心思想是根据训练集中的样本分类计算测试集中样本与训练集中所有样本的距离，根据所设定的K值选取前K个测试样本与训练样本最近的结果，结果中大多数训练样本所处在的类别即是本测试样本的类别。因训练样本的分类结果为已知因此KNN算法属于有监督学习算法。 算法原理： 1、以下图样本散点图展示训练集的整体分布情况 从散点图中可以...
K近邻(K-Nearest Neighbors, KNN)回归算法(Python)
05-31
K近邻(K-Nearest Neighbors, KNN)算法既可处理分类问题，也可处理回归问题，其中分类和回归的主要区别在于最后做预测时的决策方式不同。KNN做回归预测时一般采用平均法，预测结果为最近的K个样本数据的平均值。
【机器学习系列】使用KNN模型进行数据分析和预测的完整流程
最新发布
2301_81199775的博客
05-22 1215
在这篇博客中，我们将详细介绍如何使用KNN（K最近邻）模型进行数据分析和预测。我们将从导入数据开始，然后选择特征变量，划分训练集和测试集。接着，我们将训练KNN模型，进行预测，并计算混淆矩阵、准确率、精确度、召回率和F1值。此外，我们还将计算十折交叉验证，并选取最优参数K值。通过这个过程，你将能够全面了解KNN模型的应用，以及如何通过调整参数来优化模型的性能。
机器学习基础算法一：KNN算法回归实验
m0_46501404的博客
11-23 1027
KNN回归实验 一、基础知识 什么是回归： 回归实际上就是“最佳拟合”。根据已有的数据拟合出一条最佳的直线、曲线、超平面或函数等，用于预测其它数据的目标值。如已知一系列的点(x,y)，我们可能就可以拟合出一条最佳的直线y=kx+b。那么如果已知自变量x，要预测目标值y的话，就可以直接带入到该直线方程中求出y。回归的目的就是预测数值型的目标值 分类与回归的区别： 分类是判断对应类别，而回归的输出是一个具体值。 二、算法实现 前期数据处理：import numpy as np import pandas
【机器学习】KNN算法实战项目二：水果分类
热门推荐
lys_828的博客
01-21 1万+
KNN算法实战项目二：水果分类2 KNN实现水果分类2.1 模块导入与数据加载2.2 数据EDA2.3 模型创建与应用2.4 绘制决策边界 手动反爬虫：原博地址 https://blog.csdn.net/lys_828/article/details/122615360 知识梳理不易，请尊重劳动成果，文章仅发布在CSDN网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息 2 KNN实现水果分类 第一个实战项目中的分类效果很明显， 使用KNN算法的分类结果也不错，第二个例子中的数据分类效果就比
基于KNN的简单分类实验
m0_63758428的博客
10-09 365
K近邻算法（K-Nearest Neighbors，简称KNN）是一种用于分类和回归的统计方法。KNN 可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一。KNN 算法是有监督学习中的分类算法，它看起来和另一个机器学习算法 K-means 有点像（K-means 是无监督学习算法），但却是有本质区别的。
KNN学习报告
qq_25368751的博客
03-05 843
的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。即它没有明显的前期训练过程，而是程序开始运行时，把数据集加载到内存后，不需要进行训练，就可以开始分类了。维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离），在二维和。，一类是蓝色的正方形，一类是红色的三角形，那个绿色的圆形是我们待分类的数据。从上图中我们可以看到，图中的数据集是良好的数据，即都打好了。个点投票，于是绿色的这个待分类点属于红色的三角形。
机器学习算法笔记之1：kNN算法
marsjhao Blog
03-15 3245
一、k近邻算法 1、概述 k近邻（k-NearestNeighbor，简称kNN）算法是一种常见的监督学习算法。其工作机制可概括为：给定测试样本，基于某种距离度量找出训练集中与其距离最近的k个训练样本，通常k是不大于20的整数。然后基于这k个“邻居”的类别信息来进行预测，通常使用投票法，即选择这k个样本中出现最多的类别来标记测试样本，在回归任务中可使用“平均法”，即将这k个训练样本标记的平均值
机器学习之KNN算法
01-06
kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来...
python机器学习之KNN分类算法
09-20
KNN（K-Nearest Neighbors）分类算法是监督学习中的一个基础算法，尤其在机器学习领域中广泛应用。它的主要思想是基于实例的学习，即通过找到训练集中与新样本最接近的K个邻居，根据这些邻居的类别来预测新样本的...
机器学习算法之KNN算法实现.zip
04-20
综上所述，KNN算法是机器学习中一种基础且实用的分类方法，尽管存在一些局限性，但通过适当的优化和调整，仍然能在多种场景下发挥重要作用。在实际应用中，我们需要结合具体问题来选择合适的距离度量、K值，并考虑...
ai-机器学习算法实现之KNN.zip
04-25
KNN（K-Nearest Neighbors，K近邻算法）是机器学习中最基础且实用的算法之一，它以其简单易懂的原理和广泛的应用场景，在数据分类和回归问题中占据了一席之地。本篇将深入探讨KNN算法的原理、实现过程以及在实际应用...
kNN_k近邻_机器学习_分类算法_
10-02
在机器学习领域，kNN是基础且实用的非参数算法之一，它依赖于“近朱者赤，近墨者黑”的原则，即一个样本的类别通常由其最近的k个邻居的类别决定。 kNN算法的基本思想是：对于给定的一个未知类别的数据点，我们将其...
KNN、SVM、MLP、K-means分类实验
学姐带你玩AI的博客
04-09 1210
选取了KNN、SVM、K-means、MLP这几个模型进行实验。
【Python实验设计】KNN分类算法 | K-means聚类算法 | matplotlib龟兔赛跑 | 阻尼衰减曲线 | 雷达图 | sqlite3数据库
Akaxi的博客
11-06 1217
【Python实验设计】（含代码）KNN分类算法 | K-means聚类算法 | matplotlib龟兔赛跑 | 阻尼衰减曲线 | 雷达图 | sqlite3数据库
KNN分类器、神经网络原理基础与代码实现
weixin_60535956的博客
08-13 715
详细解析了KNN、神经网络等相关机器学习基础，相关原理与代码实现
【Java面向对象】Knn实验
ayaishere_的博客
01-17 378
面向对象程序设计【Java】KNN实验
KNN算法学习总结
JiangNanMax的博客
09-20 1万+
KNN算法学习总结 一、实验准备 1、实验内容和目的 使用KNN算法预测鸢尾花的种类，其中训练数据集为train.txt，测试集为test.txt。训练样本为120个，测试样本为30个。 2、实验原理 K最近邻(k-NearestNeighbor, KNN)分类算法是一个理论上比较成熟的方法，同时也是比较简明易懂的机器学习算法之一。 KNN算法的思路是：如果一个样本在特征空间中的k个最...
机器学习--KNN算法.pptx
11-28
"该资源是一份关于机器学习中KNN算法的PPT，主要涵盖了KNN的基本概念、距离度量方法、算法优缺点、手动实现以及使用sklearn库的实现方式，并通过一个约会网站配对效果的应用案例进行讲解。这份资料属于头歌人工智能...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值