机器学习 Machine Learning中正则化的学习笔记~

1 前言

今天在学习 Machine Learning~

2 Regularization-正则化

在机器学习中，当训练样本较少少而$h(\theta )$较为复杂时，就会产生过拟合现象，其原因是训练步骤无法遍历更多潜在可能的情况，于是$h(\theta )$为了减小loss而朝着不可预料的方向进行拟合，从而降低了模型的泛化能力，而Regularization则是针对于这种情况而产生的，因为这种过拟合现象大多数是由于过度依赖于某一种或某几种参数，使得这些参数的绝对值较大，于是在损失函数中加入正则化项来防止过拟合现象。

3 正则化的性质

如果原始的$J(\theta )$函数是凸函数，那么加入正则化项之后，新的损失函数仍然是凸函数。