机器学习 day7

最新推荐文章于 2024-11-03 00:00:00 发布

metrao

最新推荐文章于 2024-11-03 00:00:00 发布

阅读量76

点赞数

文章标签：机器学习

本文链接：https://blog.csdn.net/metrao/article/details/114283085

版权

本文详细介绍了K近邻算法的基本原理及其在分类任务中的应用。通过一个具体的案例演示了如何利用Python中的sklearn库实现K近邻算法，并展示了完整的代码流程，包括数据预处理、模型训练、预测以及评估。

摘要由CSDN通过智能技术生成

K近邻算法

K近邻算法是一种常用为分类算法，也可以用于回归，无需参数学习，基于实例，在一个有监督的学习环境中使用。
K-NN的三个关键元素是一些标记数据、数据间的距离、K值
距离度量常用欧式距离
给灰点上色
计算灰点与最近K个有色点之间的距离
投票，最近点中颜色最多的为灰点的颜色

第一步数据预处理第二步配置训练第三步测试第四步生成混淆矩阵

在这里插入图片描述

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap

dataset = pd.read_csv('datasets/Social_Network_Ads.csv')
X = dataset.iloc[:,[2,3]].values
y = dataset.iloc[:,4].values
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.fit_transform(X_test)
from sklearn.neighbors import KNeighborsClassifier
# K=5
# Minkowski度量参数的参数来自sklearn.emeics.pairwise.pairwise_距离。
# 当p=1时，这等价于使用曼哈顿距离(L1)，欧几里得距离(L2)等价于p=2时，
# 对于任意的p，则使用Minkowski_距离(L_P)
classifier = KNeighborsClassifier(n_neighbors=5, metric='minkowski',p=2)
classifier.fit(X_train, y_train)
y_pred = classifier.predict(X_test)
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred)
print(cm)
x1, x2 = np.meshgrid(np.arange(start=X_train[:,0].min()-1, stop=X_train[:,0].max()+1, step=0.01),
                     np.arange(start=X_train[:,1].min()-1, stop=X_train[:,1].max()+1, step=0.01)
                     )
# contourf 填充等高线 x1,x2对应网格，z网格高度
plt.contourf(x1,x2,classifier.predict(np.array([x1.ravel(),x2.ravel()]).T).reshape(x1.shape), alpha = 0.75,camp=ListedColormap(('red','green')))
#plt.show()
plt.xlim(x1.min(), x2.max())
plt.ylim(x2.min(),x2.max())
for i, j in enumerate(np.unique(y_test)):
    plt.scatter(X_train[y_train==j,0], X_train[y_train==j,1],
                c = ListedColormap(('yellow', 'red'))(i), label =j)
plt.legend()
plt.show()