4.5《算法图解》笔记——Chapter 10 KNN

算法图解笔记——Chapter 10 KNN
Author: Seven Zou
Email: zoushiqi0404@gmail.com
Language: Python2.7

---

5 K最近邻算法

K最近邻算法属于机器学习算法中的一种算法，也是我在课上选用来完成实践小组作业的算法。借助本章节，可以进行复习巩固。我个人类比KNN借用中国的一句谚语来总结就是“近朱者赤近墨者黑”，通过个体来确定周围Neighbor。针对数据，需要学习特征抽取；学习回归(预测数值)；学习K最近邻算法的应用案例和局限性。

---

5.1 Case——推荐系统

假设需要为用户创建一个电影推荐系统。那么可以将所有用户放入一个图表中。

图中这些用户在图表中的位置取决于其喜好，所以喜好相似度高的用户，其距离越近。假设你要向Priyanka推荐电影，可以找出五位与他最接近的用户。

假设在对电影的喜好方面，Justin、JC、Joey、Lance和Chris都与Priyanka相似，那么他们喜欢的电影Priyanka可能也喜欢。那么问题就转化了，只要他们中任何一人喜欢的电影，就将其推荐给Priyanka。

5.1.1 特征抽取

特征，按照我的理解就是不同数据的独有属性。比如水果，你可以选取它的个体和颜色特征进行比较。那么我们需要对数据进行特征抽取，然后再根据这些特征绘图。在图中，各个特征的数据变成了离散的点，而在度量两个特征(点)的距离。可以运用如下公式，其中$\Vert \cdot \Vert$表示为$2-norm$。
$$\Vert (x_1-$$