机器学习流程:
- 获取数据
- 数据基本处理
- 特征工程
- 机器学 习
- 模型评估
K近邻算法
简介: K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表。 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依 据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时,只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方 法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,kNN方法较其他方法更为适合。
KNN的三个基本要素
- 距离向量
距离就是特征空间中两个实例点的相似程度的反映。常用的有:欧几里得距离、余弦值(cos), 相关度 (correlation), 曼哈顿距离 (Manhattan distance)等。 - k值选择
即在预测目标点时取几个临近的点来预测。
K值得选取非常重要,因为k值选择过小容易受到噪声数据的影响,k值过大会产生用较大邻域中的训练实例进行预测,学习的近似误差会增大。 - 分类决策规则
即由输出实例的k个邻近的训练实例的多数表决输出实例的类。
KNN实现简单的正负数二分类问题
#导入训练模型 from sklearn.neighbors import KNeighborsClassifier #准备数据 x=[[1],[2],[3],[-1],[-3],[-10]] y=[['正数'],['正数'],['正数'],['负数'],['负数'],['负数']] #创建模型 clf = KNeighborsClassifier(n_neighbors=2) #训练模型 clf.fit(x,y) #预测其他值 print(clf.predict([[10]])) print(clf.predict([[-100]]))
预测结果
n_neighbors:
- int类型参数,可选。默认为5。选择
KNN鸢尾花预测
#导入鸢尾花数据集 from sklearn.datasets import load_iris #导入训练模型 from sklearn.neighbors import KNeighborsClassifier #拆分数据集 from sklearn.model_selection import train_test_split #获取数据集 iris=load_iris() #提取数据集数据和特征 data=iris.data target=iris.target #拆分为 训练数据、测试数据、训练特征、测试特征 x_train,x_test,y_train,y_test=train_test_split(data,target,test_size=0.3) #创建模型 clf = KNeighborsClassifier(n_neighbors=6) #训练模型 clf.fit(x_train,y_train) clf.score(x_test,y_test)
测试模型的准确率:
train_test_split:
- 参数列表,传入拆分数据集、拆分特征集
- test_size 拆分多少数据用于测试 0.3:30%数据用于测试
KNN电影类型预测
import math #特征 1.动作镜头 2.拥抱镜头 3.搞笑镜头 4.类型 #训练数据集 mv = { '追龙1':[16,2,0,'动作片'], '人潮汹涌':[8,4,14,'喜剧片'], '飞驰人生':[3,4,16,'喜剧片'], '夏洛特烦恼':[0,4,18,'喜剧片'], '战狼':[18,0,0,'动作片'], '无双':[14,2,2,'动作片'], '大人物':[15,0,3,'动作片'], '从你的全世界路过':[0,7,0,'爱情片'], '再见前任3':[0,13,2,'爱情片'] } #预测影片特征 唐人街探案3 x=[23,3,17] #拆分数据和特征 date=[] target=[] for i in mv: date.append(mv[i][:-1]) target.append(mv[i][-1:]) #创建模型 clf=KNeighborsClassifier(n_neighbors=3) #训练数据 clf.fit(date,target) #获取预测类型并添加到字典中 tp=clf.predict([x])[0] x.append(tp) mv['唐人街探案3']=x mv
预测结果