大厂面试题分享：K近邻、kmeans聚类算法、随机森林、SVM算法

问题1：介绍下K近邻、kmeans聚类算法

K近邻算法也称为knn算法。

knn算法的核心思想是未标记样本的类别，由距离其最近的k个邻居投票来决定。

具体的，假设我们有一个已标记好的数据集。此时有一个未标记的数据样本，我们的任务是预测出这个数据样本所属的类别。knn的原理是，计算待标记样本和数据集中每个样本的距离，取距离最近的k个样本。待标记的样本所属类别就由这k个距离最近的样本投票产生。

假设X_test为待标记的样本，X_train为已标记的数据集，算法原理如下：

• 遍历X_train中的所有样本，计算每个样本与X_test的距离，并把距离保存在Distance数组中。
• 对Distance数组进行排序，取距离最近的k个点，记为X_knn。
• 在X_knn中统计每个类别的个数，即class0在X_knn中有几个样本，class1在X_knn中有几个样本等。
• 待标记样本的类别，就是在X_knn中样本个数最多的那个类别。

算法优缺点

优点：准确性高，对异常值和噪声有较高的容忍度。

缺点：计算量较大，对内存的需求也较大。

算法参数

其算法参数是k，参数选择需要根据数据来决定。

k值越大，模型的偏差越大，对噪声数据越不敏感，当k值很大时，可能造成欠拟合；

k值越小，模型的方差就会越大，当k值太小，就会造成过拟合。

kmeans聚类算法