Machine Learning面试常见问题梳理（模型训练篇）

前言

机器学习面试关于算法方面的内容，对网络上的内容进行整合，方便日后自己复习以及给大家面试的时候来用。以下内容均来自于网络上的资源，会在文末统一标明出处。

正文

1、如何处理过拟合？

• 提前结束训练
• 使用正则参数
• 控制树的深度or学习率
• 随机列抽样

2、过拟合原因？

数据：数据不规范，数据量少，数据穿越，统计特征用到了未来的信息或者标签信息
算法：算法过于复杂

解决方案：

• 将数据规范化，处理缺失值，增加数据量，采样，添加噪声数据
• 正则化，控制模型复杂程度，
• early stoping，减少迭代次数，减少树的深度，
• 学习率调大/小点、
• 融合几个模型

3、L1和L2的区别

• L1是Lasso Regression，表示向量中每个元素绝对值的和：L1范数的解通常是稀疏性的，倾向于选择数目较少的一些非常大的值或者数目较多的insignificant的小值。
• L2是岭回归，Ridge Regression，是欧氏距离也就是平方和的平方根。L2范数越小，可以使得w的每个元素都很小，接近于0，但L1范数不同的是他不会让它等于0而是接近于0。
• L1正则化的w可取的值是转置的方形，L2对应的是圆