线性回归分析的学习

最小二乘线性回归

模型表示

参数求解

• 解析法：

根据函数在极值满⾜参数的梯度为 0 的特点进⾏求解。当样本数量较少时使⽤此法速度较快，但可能遇到矩阵不可逆的情况。

• 数值优化法（梯度下降法）：

利⽤梯度下降法等⽅法迭代求解。当样本数量较多时使⽤此法比较合适，但优化算法是否收敛以及收敛速度不确定。同时当描述样本的特征之间存在明显的相关性时，会导致某些预测变量以及与其相关程度强的预测变量，具有较⼤的系数估计值，但因符号相反⽽相互抵消。

梯度下降法（Gradient Descent），也称为最速下降法（SteepestDescent），是⼀种⼀阶最优化算法。通过对函数某⼀点对应的梯度的反⽅向以规定步⻓（Step size）距离进⾏迭代搜索以找到函数的局部极⼩值。

学习率较小时，下降速度相对较慢，学习率较⼤时，下降速度相对较快，但过⼤的学习率可能导致模型不收敛或者出现剧烈波动。

梯度下降收敛准则：
1.当梯度向量的欧⼏⾥得范数达到⼀个充分⼩的阈值时
2.当迭代的每⼀个回合的均⽅误差变化的绝对速率⾜够⼩时。
同时当⽬标函数是凸函数时，梯度下降法的解是全局最优解。⼀般情况下，其解不保证是全局最优解。其下降速度也不保证是最快的。

GD求解模型参数算法描述：

MBGD算法描述：

套索回归（L1正则化）

在进行预测前，需要对数据集进行尺度规范化

岭回归（L2正则化）

同样在进行预测前，需要对数据集进行尺度规范化