参考各种资料总结一下,准备面试。更新中~
13、LR的损失函数?为何不用MSE?
损失函数为交叉熵
不使用MSE的原因有两个:
- MSE 会有梯度消失现象
- MSE 的导数非凸函数,求解最优解困难
MSE导数:
交叉熵损失函数导数:
14、k-means如何确定k的个数?初始点(簇心)的选择方法?
k值的确定:
- 最简单的方法可视化数据,然后观察出聚类聚成几类比较合适
- 肘方法:绘制图像,x轴为聚类的数量,y轴为WSS(within cluster sum of squares),取拐点处的k值。
- 轮廓系数法:通过枚举,令k从2到一个固定值如10,在每个k值上重复运行数次kmeans(避免局部最优解),并计算当前k的平均轮廓系数,最后选取轮廓系数最大的值对应的k作为最终的集群数目。轮廓系数结合了聚类的类内凝聚度(Cohesion)和类间分离度(Separation),用于评估聚类的效果。该值处于-1~1之间,值越大,表示聚类效果越好。
初始点选择方法:
主要思想,初始的聚类中心之间相互距离尽可能远.
1、k-means++
- 从输入的数据点集合中随机选择一个点作为第一个聚类中心
- 对于数据集中的每一个点x,计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)
- 选择一个新的数据点作为新的聚类中心,选择的原则是:D(x)较大的点,被选取作为聚类中心的概率较大
- 重复2和3直到k个聚类中心被选出来
- 利用这k个初始的聚类中心来运行标准的k-means算法
2、选用层次聚类算法进行初始聚类,然后从k个类别中分别随机选取k个点,来作为kmeans的初始聚类中心点
1、过拟合与欠拟合
过拟合:在训练数据集上表现较好,在测试集上表现较差。
可能的原因:
- 参数太多,模型复杂度高。
- 样本噪声数据较大,模型学到了噪声数据的特征。
- 对于决策树模型,对于决策树的生长没有进行合理的限制和修剪。
- 对于神经网络,迭代次数太多(overtraining),拟合数据中的噪声和无代表性的特征。
解决方法:
- 降低模型复杂度,使用简单的模型
- 增加数据样本
- 对于决策树,earlystopping
- 正则化,减少参数
- 对于神经网络,采用dropout
- 采用ensemble,集成模型。Bagging, boosting
欠拟合:在训练集和测试集表现都较差
可能的原因:
- 模型太简单
- 特征不