KNN分类模型

荼靡~

已于 2023-02-13 15:54:19 修改

阅读量2.2k

点赞数 1

分类专栏： # 机器学习笔记文章标签：分类 KNN算法 k折交叉验证

于 2022-02-01 21:06:34 首次发布

本文链接：https://blog.csdn.net/m0_46926492/article/details/122766173

版权

机器学习笔记专栏收录该内容

31 篇文章 5 订阅

订阅专栏

KNN分类模型

1.概念

k-邻近算法采用测量不同特征值之间的距离方法进行分类(k-Nearest Neighbor，KNN)
k值的作用【选择样本数据集中前K个的数据，出现次数最多的分类，作为新(预测)数据的分类】
欧几里得距离(Euclidean Distance)
注意：
- 在knn中的k的取值不同会直接导致分类的结果不同。n_neighbors参数表示k值
- 模型的超参数：模型的参数有不同的取值且不同的取值会导致模型的分类或预测产生直接的影响
- 在knn算法中，目标数据可以不是数值型。在knn算法原理中，仅仅计算特征数据的距离，不会计算目标数据的距离。
- 工作原理
  - 存在一个样本数据集合【训练样本集】，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。
  - 输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。
  - 一般来说，我们只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常K是不大于20的整数
  - 最后，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。

2.寻找最优k值

import pandas as pd
from sklearn.preprocessing import MinMaxScaler
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
#1.加载数据
df=pd.read_csv('./data/adults.txt')
#2.样本数据提取
target=df['salary']  #提取标签数据，收入
feature=df[['age','education_num','occupation','hours_per_week']] #提取有关特征数据，年龄，教育时间，工作行业，工作小时
#3.数据集拆分
x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.1,random_state=2020)
#4.观察特征数据是否需要进行特征工程
#行业一列为字符串，需要特征值化
one_hot_train=pd.get_dummies(x_train['occupation'])  #对训练集进行one_hot编码
one_hot_test=pd.get_dummies(x_test['occupation'])   #对测试集进行one_hot编码
#连接数据,并把原先的行业一列删除
x_train=pd.concat([x_train,one_hot_train],axis=1).drop(labels='occupation',axis=1)
x_test=pd.concat([x_test,one_hot_test],axis=1).drop(labels='occupation',axis=1)

scores = []
ks = []
#5.循环遍历k值，获取最优的k值
for i in range(5,100):
    knn = KNeighborsClassifier(n_neighbors=i)
    knn.fit(x_train,y_train)
    score = knn.score(x_test,y_test)
    scores.append(score)
    ks.append(i)
    
# 6.将列表转为array数组
scores_arr=np.array(scores)
ks_arr=np.array(ks)

#7.画图，查看大概最优值的位置
plt.plot(ks_arr,scores_arr)
plt.xlabel('k_value')
plt.ylabel('score_value')

#8.获取最优值的下标
max=scores_arr.argmax()
#获取最优质对应的k值
k_value=ks_arr[max]

3.knn案例

API

from sklearn.neighbors import KNeighborsClassifier

寻找最优k值预测

import pandas as pd
from sklearn.preprocessing import MinMaxScaler
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
#1.加载数据
df=pd.read_csv('./data/adults.txt')
#2.样本数据提取
target=df['salary']  #提取标签数据，收入
feature=df[['age','education_num','occupation','hours_per_week']] #提取有关特征数据，年龄，教育时间，工作行业，工作小时
#3.数据集拆分
x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.1,random_state=2020)
#4.观察特征数据是否需要进行特征工程
#行业一列为字符串，需要特征值化
one_hot_train=pd.get_dummies(x_train['occupation'])  #对训练集进行one_hot编码
one_hot_test=pd.get_dummies(x_test['occupation'])   #对测试集进行one_hot编码
#连接数据,并把原先的行业一列删除
x_train=pd.concat([x_train,one_hot_train],axis=1).drop(labels='occupation',axis=1)
x_test=pd.concat([x_test,one_hot_test],axis=1).drop(labels='occupation',axis=1)

scores = []
ks = []
#5.循环遍历k值，获取最优的k值
for i in range(5,100):
    knn = KNeighborsClassifier(n_neighbors=i)
    knn.fit(x_train,y_train)
    score = knn.score(x_test,y_test)
    scores.append(score)
    ks.append(i)
    
# 6.将列表转为array数组
scores_arr=np.array(scores)
ks_arr=np.array(ks)

#7.画图，查看大概最优值的位置
plt.plot(ks_arr,scores_arr)
plt.xlabel('k_value')
plt.ylabel('score_value')

#8.获取最优值的下标
max=scores_arr.argmax()
#获取最优质对应的k值
k_value=ks_arr[max]
# 9将最优值k，放入训练集，训练模型
knn=KNeighborsClassifier(n_neighbors=k_value)
knn.fit(x_train,y_train)
score=knn.score(x_test,y_test)
#10.预测
knn.predict()

4.knn取值问题

4.1学习曲线&交叉验证选取k值

k值较小，则模型复杂度较高，容易发生过度拟合，学习的估计误差会增大，预测结果对近邻的实例点非常敏感
k值较大，可以减少学习估计误差，但是学习的近似误差会增大，与输入实例较远的训练实例也会预测其作用，使预测发生错误，k值增大模型的复杂度会下降
在应用中，k值一般取一个比较小的值，通常采用交叉验证法来选取最优的k值
适用场景为小数据场景，样本为几千，几万

4.2 K折交叉验证

目的：
- 将样本的训练数据交叉折分出不同的训练集和验证集，使用交叉折分出不同的训练集和验证集分别测试模型的精准度，精准度的均值就是交叉验证的结果。将结果作用到不同的超参数中，选取出精准度最高的超参数作为模型创建的超参数即可

API

from sklearn.model_selection import cross_val_score
cross_val_score(estimator,X,y,cv)
# estimator:模型对对象
#X，y训练集数据
#cv;折数

实现思路
- 将数据集平均分割成k个等份
- 使用1份数据作为测试数据，其余为训练数据
- 计算测试准确率
- 使用不同的测试集，重复2,3步骤
- 对精准率求均值，作为对未知数据预测准确率的估计

交叉验证在knn算法的基本使用

from sklearn.model_selection import cross_val_score,train_test_split
import sklearn.datasets as datasets
from sklearn.neighbors import KNeighborsClassifier
iris=datasets.load_iris()
feature=iris['data']
target=iris['target']
x_train,x_test,y_train,y_test=train_test_split(feature,target,test_size=0.2,random_state=2020)
knn=KNeighborsClassifier(n_neighbors=5)
#对训练集进行交叉验证
cross_val_score(knn,x_train,y_train,cv=5).mean()

使用交叉验证&学习曲线寻找最优的超参数

from sklearn.model_selection import train_test_split
import sklearn.datasets as datasets
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

iris=datasets.load_iris()
feature = iris['data']
target = iris['target']
#拆分出训练集和测试集
x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.2,random_state=2020)
scores = []
ks = []
iris = datasets.load_iris()
feature = iris['data']
target = iris['target']
#拆分出训练集和测试集
x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.2,random_state=2020)

for k in range(3,20):
    knn = KNeighborsClassifier(n_neighbors=k)
    score = cross_val_score(knn,x_train,y_train,cv=6).mean()
    scores.append(score)
    ks.append(k)
scores_arr=np.array(scores)
ks_arr=np.array(ks)
plt.plot(ks_arr,scores_arr)
plt.xlabel('k_value')
plt.ylabel('score_value')
max=scores_arr.argmax()
k=ks_arr[max]

4.3 模型选择

交叉验证也可以帮助我们进行模型选择，使用iris数据，比较和选择KNN和Logistic回归模型

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
import sklearn.datasets as datasets
from sklearn.neighbors import KNeighborsClassifier

iris = datasets.load_iris()
feature = iris['data']
target = iris['target']
#拆分出训练集和测试集
x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.2,random_state=2020)
knn=KNeighborsClassifier(n_neighbors=5)
print(cross_val_score(knn,x_train,y_train,cv=10).mean())
lr=LogisticRegression()
print(cross_val_score(lr,x_train,y_train,cv=10).mean())

4.4 K-Fold&交叉验证

Scikit提供的API

from sklearn.model_selection import KFold
KFold(n_solits,shuffle,random_state)
# n_splits:折数
# shuffle：是否对数据洗牌
# random_state：随机种子，固定随机性

示例

from numpy import array
from sklearn.model_selection import KFold
data=array([0.1, 0.2, 0.3, 0.4, 0.5, 0.6])
kfold=KFold(n_splits=3,shuffle=True,random_state=1)
for train,test in kfold.split(data):
    print('train:%s,test:%s'%(data[train],data[test]))
# train:[0.1 0.4 0.5 0.6],test:[0.2 0.3]
# train:[0.2 0.3 0.4 0.6],test:[0.1 0.5]
# train:[0.1 0.2 0.3 0.5],test:[0.4 0.6]

Scikit中提取带K-Fold接口的交叉验证接口sklearn.model_selection.cross_validate，但是该接口没有数据shuffle功能，所以一般结合Kfold一起使用。如果Train数据在分组前已经经过了shuffle处理，比如使用train_test_split分组，那就可以直接使用cross_val_score接口

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
import sklearn.datasets as datasets
from sklearn.neighbors import KNeighborsClassifier

iris = datasets.load_iris()
feature = iris['data']
target = iris['target']
n_folds=5
kf=KFold(n_folds,shuffle=True,random_state=42).get_n_splits(feature)
scores=cross_val_score(knn,feature,target,cv=kf)
scores.mean()

5.算法代码实现

类封装

class KNNClassifier:
    def __init__(self,k=7):
        self.k=k
        self._X_train=None
        self._y_train=None
    #学习训练数据
    def fit(self,X_train,y_train):
        self._X_train=X_train
        self._y_train=y_train
    #对一个新样本进行分类预测
    def _predict(self,x):
        # 1:算距离，坐标系里面，两点之间的距离sqrt((x1-x2)^2+(y1-y2)^2)
        distances=np.sqrt(np.sum((self._X_train-x)**2,axis=1))
        #2:对距离排序取前K名
        votes=Counter(self._y_train[np.argpartition(distances,self.k)[:self.k]])
        return votes.most_common(1)[0][0]
    #对多个进行分类预测
    def predict(self,X_predict):
        y_predict=np.array([self._predict(x) for x in X_predict])
        return y_predict

from sklearn import datasets
from collections import Counter
#获取鸢尾花数据集
iris=datasets.load_iris()
X=iris.data
y=iris.target
knn=KNNClassifier()
knn.fit(X,y)
#根据特征数据做预测，发现有误差
y_predict=knn.predict(X)
y_predict

荼靡~

关注

1
点赞
踩
19

收藏

觉得还不错? 一键收藏
打赏
2
评论
KNN分类模型

Scikit中提取带K-Fold接口的交叉验证接口sklearn.model_selection.cross_validate，但是该接口没有数据shuffle功能，所以一般结合Kfold一起使用。如果Train数据在分组前已经经过了shuffle处理，比如使用train_test_split分组，那就可以直接使用cross_val_score接口。k值的作用【选择样本数据集中前K个的数据，出现次数最多的分类，作为新(预测)数据的分类】使用不同的测试集，重复2,3步骤。交叉验证在knn算法的基本使用。
复制链接

扫一扫