KNN(K近邻)算法
前言
因为自己准备数据集耗时耗力还不一定真实,所以小编在此采用scikit-learn数据集
什么是KNN?
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。
小编的理解是:根据你的“邻居”判断你的类别
k近邻(KNN)算法是一种简单,易于实现的有监督的机器学习算法,可用于解决分类和回归问题。
举例
如上图所示,我们将打斗镜头、接吻镜头当作你的特征值,那么电影类型就是你的目标值。那么对于电影名称为“?”,我们怎么判断电影类型?
如果在表中在添加如下一列“与目标电影的距离”,我们可以发现电影名称“?”与“He‘s not Really into dues”的距离最近,那么我们就能以此为依据判断“?”的电影类型了。
这个距离怎么计算呢?
两个样本的距离可以通过如下公式计算,又叫欧式距离。
比如说,a(a1,a2,a3),b(b1,b2,b3)
那么对于上述示例而言,以“California Man”举例,其距离为:
细心的读者一定可以发现,如果根号下两个平方数值差距特别大,(例:根号((100-3)^2 +(14-13)^2),我们会发现这个距离是被(100-3)这部分数值所主导
如何避免这个问题?
KNN算法需要进行标准化!!!
当然,KNN算法中K的取值也会影响最终分类的结果
假设k=1,则取距离最近的1个电影类型来判断“?”的类型
假设k=2,则取距离最近的2个电影类型来判断“?”的类型
假设k=3,则取距离最近的3个电影类型来判断“?”的类型
…
但是这个k不是越大越好
知识储备
sklearn k-近邻算法API:
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
- n_neighbors:int,可选(默认= 5),k_neighbors查询默认使用的邻居数
- algorithm:{‘auto’,‘ball_tree’,‘kd_tree’,‘brute’},可选用于计算最近邻居的算法:‘ball_tree’将会使用BallTree,‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。(不同实现方式影响效率)
代码演示
这是一个简单的KNN算法流程
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn