AI-机器学习-自学笔记(四)K邻算法(KNN)

K邻算法(k-Nearest Neighbor)是最常用也是最简单的机器学习算法之一。

关于该算法正式的表述是:如果一个样本在特征空间中的K个最相似(特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别的样本的特性。

通俗点说,就是近朱者赤近墨者黑,你周围的狐朋狗友多数属于哪一类人,你大概率也属于这一类人。具体说就是,找到跟你关系最近的K个朋友,看看他们是哪一类人(喜欢打什么游戏、是学霸还是学渣等)

在KNN中,通过计算对象间距离来为各个对象之间的非相似性指标,距离一般采用欧式距离或曼哈顿距离。在K个对象中投票表决进行决策。

在scikit-learn中KNN的类是 KNeighborsClassifier,下面以经典的鸢尾花数据集做个案例实验

# 从sklearn 导入KNeighborsClassifier方法
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
from pandas import read_csv
#导入鸢尾花集数据
filename = 'data/iris/iris.data.csv' 
names = ['separ-length','separ-width','petal-length','petal-width','class'] 
dataset = read_csv(filename, names=names)
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score 

#分离数据集
array = dataset.values 
X = array[:,0:4]
Y = array[:,4] 
validation_size = 0.2 
seed = 7 
X_train,X_validation,Y_train,Y_validation = \
train_test_split(X, Y, test_size=validation_size, 
random_state=seed)


#定义数据集
model = KNeighborsClassifier(n_neighbors=3, algorithm='ball_tree')
#KNeighborsClassifier(algorithm='ball_tree', leaf_size=30, metric='minkowski',,metric_params=None, n_jobs=None, n_neighbors=4, p=2,,weights='uniform')
model.fit(X_train, Y_train)


# 预测
print(model.predict([[4.7, 3.2,1.3,0.2]]))  # 输出某个具体数据的分类结果
print(model.predict_proba([[4.7, 3.2,1.3,0.2]]))  # 预测属数据于各个标签的概率
print(model.score(X, Y))  # 输出模型训练结果准确率

打印出结果如下:

['Iris-setosa']  #预测输入的数据属于 Iris-setosa 这一种鸢尾花
[[1. 0. 0.]]     #预测属于三种鸢尾花的概率分别为 1,0, 0,就是比较笃定地认为属于第一种了。
0.96             #在测试集上整体的预测准确率为0.96

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值