机器学习面试问题

机器学习面试问题

正则化
1.如何防止模型的过拟合？
正则化
2.为什么正则化能够防止过拟合？
模型的复杂度 和 参数的个数
参数个数减少----->模型的复杂度就下降了
3.数学角度讲一下？

4.为什么L1正则化具有稀疏性？
or 为什么L1正则能进行一个特征选择？

什么是过拟合 欠拟合？
欠拟合： 模型太过于简单，不能较好的拟合样本。
过拟合：模型过于复杂

如何防止过拟合？
增加 L1 L2正则化
L1和L2正则化区别？
L1： |W| = |W1|+|W2|+…|Wn|
L2：|W| = |W1平方|+|W2平方|+…|Wn平方|

模型的复杂度 和 参数向量有关
参数越多——>复杂度越高
参数越少——>复杂度越低

W->0 使得某些参数的个数下降———》进行特征选择
L1具有稀疏性

L2正则化举例

求偏导 对 Wi 和 λ 求

约束W。 |W1平方|+|W2平方|+…|Wn平方|<=n

|W1|+|W2|+…|Wn| <= m

不等式约束的最优化问题

KKT
拉格朗日

构建拉格朗日函数

正则化—隐含条件—>带约束条件------>限制模型复杂度

等值线

等值线上的每个点的损失值是相同的。

L1为什么相对L2正则更具有稀疏性

左边 是L1正则化，是正方形，可以和更多的目标函数相交的情况大
右边 是L2正则化，是圆形，更多是和目标函数相交在最外层的边缘上

L1稀疏性 角度1：W=0 进行特征选择
角度2： 贝叶斯 最大后验概率估计