如果没有足够的数据集约束过多特征的模型,就会发生过拟合。
解决过拟合通常有两个方法:减少特征数量;正则化
根据正则化项不同可分为L1正则化和L2正则化,线性回归的L1正则化叫Lasso回归,L2正则化叫Ridge回归
线性回归:
- 梯度下降迭代更新:(其中j = 1,2......n ; )
{
}
- 正规方程求:(矩阵为n+1维)
逻辑回归:
- 梯度下降迭代更新:(其中j = 1,2......n ; )
{
}
如果没有足够的数据集约束过多特征的模型,就会发生过拟合。
解决过拟合通常有两个方法:减少特征数量;正则化
根据正则化项不同可分为L1正则化和L2正则化,线性回归的L1正则化叫Lasso回归,L2正则化叫Ridge回归
线性回归:
{
}
逻辑回归:
{
}