机器学习 -- 简析KNN（k近邻算法）

一般情况下，只选择样本数据集中最相似的前k个数据，并且选择k中出现次数最多的类别作为新数据的类。

2. 算法过程

输入：有标签的样例

输出：新样例的预测标签

（1）对于给定的距离，找到预测样本的k个最近的邻居，放入到Nk(x)中

（2）在Nk(x)中依据分类规则（如投票）判断新样例的预测类型

3. 算法优缺点

优点：

（1）算法简单，理论成熟，可用于分类和回归。

（2）对异常值不敏感。

（3）可用于非线性分类。

（4）比较适用于容量较大的训练数据，容量较小的训练数据则很容易出现误分类情况。

（5）KNN算法原理是根据邻域的K个样本来确定输出类别，因此对于不同类的样本集有交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为合适。

（6）对数据类型（图片，文本，视频）不做限制

缺点：

（1）时间复杂度和空间复杂度高。（训练复杂度为0，但测试耗时，需要计算很多距离，还要相应存储，再选出最小的k个距离）

（2）训练样本不平衡，对稀有类别的预测准确率低。

（3）相比决策树模型，KNN模型可解释性不强。

三、KNN模型

---

k近邻模型对应一个特征空间划分。每个样例是最小的单元，对应一个类别。

要点：

（1）距离度量Distance metric

（2）k值的选择Choice of k value

（3）分类规则Classification decision rule

1. 距离度量（Distance metric）

Lp距离： xi是n维空间向量，其距离就是对应分量相减的p次方之和再开平方。

当p=2 欧几里得距离

当p=1 曼哈顿距离

当p=无穷大 切比雪夫距离

三者之间的关系

2. k值的选择（Choice of k value）

如果选择较小的k值: “学习”的近似误差减小，而“学习”的估计误差增大。噪声敏感，k值的降低意味着整个模型变得复杂，容易出现过拟合。

如果选择较大的K值： 减少学习的估计误差，但缺点是学习的近似误差会增大.K值的增大 就意味着整体的模型变得简单.

选择方法：交叉验证法

3. 分类规则（Classification decision rule）

多数投票规则

四、总结

总结一下

面试前要精心做好准备，简历上写的知识点和原理都需要准备好，项目上多想想难点和亮点，这是面试时能和别人不一样的地方。

还有就是表现出自己的谦虚好学，以及对于未来持续进阶的规划，企业招人更偏爱稳定的人。

万事开头难，但是程序员这一条路坚持几年后发展空间还是非常大的，一切重在坚持。

开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】

为了帮助大家更好更高效的准备面试，特别整理了《前端工程师面试手册》电子稿文件。

前端面试题汇总