机器学习、数据挖掘-推荐系统问题总结

参考各种资料总结一下，准备面试。更新中~

13、LR的损失函数？为何不用MSE?

损失函数为交叉熵

不使用MSE的原因有两个：

1. MSE 会有梯度消失现象
2. MSE 的导数非凸函数，求解最优解困难

MSE导数： 

交叉熵损失函数导数： 

14、k-means如何确定k的个数？初始点（簇心）的选择方法？

k值的确定：

1. 最简单的方法可视化数据，然后观察出聚类聚成几类比较合适
2. 肘方法：绘制图像，x轴为聚类的数量，y轴为WSS（within cluster sum of squares），取拐点处的k值。
3. 轮廓系数法：通过枚举，令k从2到一个固定值如10，在每个k值上重复运行数次kmeans(避免局部最优解)，并计算当前k的平均轮廓系数，最后选取轮廓系数最大的值对应的k作为最终的集群数目。轮廓系数结合了聚类的类内凝聚度（Cohesion）和类间分离度（Separation），用于评估聚类的效果。该值处于-1~1之间，值越大，表示聚类效果越好。

初始点选择方法：

主要思想，初始的聚类中心之间相互距离尽可能远.

1、k-means++

1. 从输入的数据点集合中随机选择一个点作为第一个聚类中心
2. 对于数据集中的每一个点x，计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)
3. 选择一个新的数据点作为新的聚类中心，选择的原则是：D(x)较大的点，被选取作为聚类中心的概率较大
4. 重复2和3直到k个聚类中心被选出来
5. 利用这k个初始的聚类中心来运行标准的k-means算法

2、选用层次聚类算法进行初始聚类，然后从k个类别中分别随机选取k个点，来作为kmeans的初始聚类中心点

1、过拟合与欠拟合

过拟合：在训练数据集上表现较好，在测试集上表现较差。

可能的原因：

1. 参数太多，模型复杂度高。
2. 样本噪声数据较大，模型学到了噪声数据的特征。
3. 对于决策树模型，对于决策树的生长没有进行合理的限制和修剪。
4. 对于神经网络，迭代次数太多(overtraining)，拟合数据中的噪声和无代表性的特征。

解决方法：

1. 降低模型复杂度，使用简单的模型
2. 增加数据样本
3. 对于决策树,earlystopping
4. 正则化，减少参数
5. 对于神经网络，采用dropout
6. 采用ensemble，集成模型。Bagging, boosting

欠拟合：在训练集和测试集表现都较差

可能的原因：

1. 模型太简单
2. 特征不