机器学习、数据挖掘-推荐系统问题总结

参考各种资料总结一下,准备面试。更新中~

13、LR的损失函数?为何不用MSE?

损失函数为交叉熵

不使用MSE的原因有两个:

  1. MSE 会有梯度消失现象
  2. MSE 的导数非凸函数,求解最优解困难

MSE导数: 

交叉熵损失函数导数: 

14、k-means如何确定k的个数?初始点(簇心)的选择方法?

k值的确定:

  1. 最简单的方法可视化数据,然后观察出聚类聚成几类比较合适
  2. 肘方法:绘制图像,x轴为聚类的数量,y轴为WSS(within cluster sum of squares),取拐点处的k值。
  3. 轮廓系数法:通过枚举,令k从2到一个固定值如10,在每个k值上重复运行数次kmeans(避免局部最优解),并计算当前k的平均轮廓系数,最后选取轮廓系数最大的值对应的k作为最终的集群数目。轮廓系数结合了聚类的类内凝聚度(Cohesion)和类间分离度(Separation),用于评估聚类的效果。该值处于-1~1之间,值越大,表示聚类效果越好。

初始点选择方法:

主要思想,初始的聚类中心之间相互距离尽可能远.

1、k-means++

  1. 从输入的数据点集合中随机选择一个点作为第一个聚类中心
  2. 对于数据集中的每一个点x,计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)
  3. 选择一个新的数据点作为新的聚类中心,选择的原则是:D(x)较大的点,被选取作为聚类中心的概率较大
  4. 重复2和3直到k个聚类中心被选出来
  5. 利用这k个初始的聚类中心来运行标准的k-means算法

2选用层次聚类算法进行初始聚类,然后从k个类别中分别随机选取k个点,来作为kmeans的初始聚类中心点

1、过拟合与欠拟合

过拟合:在训练数据集上表现较好,在测试集上表现较差。

可能的原因:

  1. 参数太多,模型复杂度高。
  2. 样本噪声数据较大,模型学到了噪声数据的特征。
  3. 对于决策树模型,对于决策树的生长没有进行合理的限制和修剪。
  4. 对于神经网络,迭代次数太多(overtraining),拟合数据中的噪声和无代表性的特征。

解决方法:

  1. 降低模型复杂度,使用简单的模型
  2. 增加数据样本
  3. 对于决策树,earlystopping
  4. 正则化,减少参数
  5. 对于神经网络,采用dropout
  6. 采用ensemble,集成模型。Bagging, boosting

欠拟合:在训练集和测试集表现都较差

可能的原因:

  1. 模型太简单
  2. 特征不
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值