简单粗暴理解与实现机器学习之K-近邻算法(一):K-近邻算法(KNN)概念、电影类型分析案例

K-近邻算法

学习目标

  • 掌握K-近邻算法实现过程
  • 知道K-近邻算法的距离公式
  • 知道K-近邻算法的超参数K值以及取值问题
  • 知道kd树实现搜索的过程
  • 应用KNeighborsClassifier实现分类
  • 知道K-近邻算法的优缺点
  • 知道交叉验证实现过程
  • 知道超参数搜索过程
  • 应用GridSearchCV实现算法参数的调优

1.1 K-近邻算法简介

在这里插入图片描述

1 什么是K-近邻算法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LB42fwYW-1583241510562)(../images/%E5%9C%B0%E5%9B%BEK%E7%B4%A7%E9%82%BB%E7%AE%97%E6%B3%95.png)]

  • 根据你的“邻居”来推断出你的类别

1.1 K-近邻算法(KNN)概念

K Nearest Neighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法, 总体来说KNN算法是相对比较容易理解的算法

  • 定义

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

来源:KNN算法最早是由Cover和Hart提出的一种分类算法

  • 距离公式

两个样本的距离可以通过如下公式计算,又叫欧式距离 ,关于距离公式会在后面进行讨论

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hSheieNU-1583241510563)(../images/1.3%20%E6%AC%A7%E5%BC%8F%E8%B7%9D%E7%A6%BB1.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wgcYSb7C-1583241510563)(../images/1.4%20%E6%AC%A7%E5%BC%8F%E8%B7%9D%E7%A6%BB2.png)]

1.2 电影类型分析

假设我们现在有几部电影

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t9ItfpiT-1583241510563)(../images/knn%E7%94%B5%E5%BD%B1%E4%B8%BE%E4%BE%8B1.png)]

其中? 号电影不知道类别,如何去预测?我们可以利用K近邻算法的思想

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-q5BbOSj9-1583241510564)(../images/knn%E7%94%B5%E5%BD%B1%E4%B8%BE%E4%BE%8B2.png)]

分别计算每个电影和被预测电影的距离,然后求解

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WFbKXfaC-1583241510564)(../images/knn%E7%94%B5%E5%BD%B1%E4%B8%BE%E4%BE%8B3.png)]

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 酷酷鲨 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读