最小二乘线性回归
模型表示
参数求解
- 解析法:
根据函数在极值满⾜参数的梯度为 0 的特点进⾏求解。当样本数量较少时使⽤此法速度较快,但可能遇到矩阵不可逆的情况。
- 数值优化法(梯度下降法):
利⽤梯度下降法等⽅法迭代求解。当样本数量较多时使⽤此法比较合适,但优化算法是否收敛以及收敛速度不确定。同时当描述样本的特征之间存在明显的相关性时,会导致某些预测变量以及与其相关程度强的预测变量,具有较⼤的系数估计值,但因符号相反⽽相互抵消。
梯度下降法(Gradient Descent),也称为最速下降法(SteepestDescent),是⼀种⼀阶最优化算法。通过对函数某⼀点对应的梯度的反⽅向以规定步⻓(Step size)距离进⾏迭代搜索以找到函数的局部极⼩值。
学习率较小时,下降速度相对较慢,学习率较⼤时,下降速度相对较快,但过⼤的学习率可能导致模型不收敛或者出现剧烈波动。
梯度下降收敛准则:
1.当梯度向量的欧⼏⾥得范数达到⼀个充分⼩的阈值时
2.当迭代的每⼀个回合的均⽅误差变化的绝对速率⾜够⼩时。
同时当⽬标函数是凸函数时,梯度下降法的解是全局最优解。⼀般情况下,其解不保证是全局最优解。其下降速度也不保证是最快的。
GD求解模型参数算法描述:
MBGD算法描述:
套索回归(L1正则化)
在进行预测前,需要对数据集进行尺度规范化
岭回归(L2正则化)
同样在进行预测前,需要对数据集进行尺度规范化