【算法工程师面试】正则化

1.什么是正则化？

正则化意味着通过将系数估计值缩小到零来限制模型，以避免过拟合。当模型出现过拟合时，应该控制模型的复杂度。从技术上讲，正则化通过向模型的损失函数添加惩罚来避免过拟合。

正则化是一种通过引入额外信息或约束来防止模型过拟合，提高泛化能力的技术。

2.L0，L1，L2正则化？

L0正则化

关注的是向量中非零元素的个数，通过限制非零元素的个数在一定范围内来实现稀疏性。然而，用L0范数实现稀疏是一个NP-hard问题，因此实际应用中，人们常使用L1正则化来近似实现稀疏性。

L1正则化

通过在目标函数中添加L1范数惩罚项来实现，即模型的权重向量中每个元素的绝对值之和乘以一个正则化参数。它有助于防止模型对噪声或不相关特征进行过度拟合，提高模型的泛化能力。同时，L1正则化常用于特征选择，因为它倾向于将不相关特征的权重系数设为零，使模型只关注最重要的特征。

L2正则化

又称为权重衰减，是以参数权重的二次方之和作为惩罚项。通过在损失函数中添加L2范数惩罚项，可以使得参数权重变得更加平滑，降低模型复杂度，从而缓解过度拟合的问题。L2正则化倾向于产生较小的权重，而不是像L1正则化那样产生完全为零的权重。