机器学习笔记整理（二）——最小二乘法

1.最小二乘法

最小二乘法也叫做损失最小化学习法，适用于较小规模数据的学习，有过拟合的弱点。

梯度下降法是适用于大规模数据学习的算法，该方法的收敛速度依赖于梯度下降的步幅及收敛结果的判断方法。

 

2.带有约束条件的最小二乘法

原因：当参数较多时，求解参数及学习得到的函数的输出值的过程耗费大量的时间

优点：省时、防止过拟合

（1）部分空间约束的最小二乘法

只使用参数空间的一部分，保证参数θ不偏移到值域R(P)范围之外，通过正交投影矩阵P实现约束。

如果使用主成分分析法求解该部分空间，则该方法为主成分回归PCA。

约束条件：Pθ=θ

假设只有两个参数，约束后参数空间如下图所示：

问题：P的设置有很大的自由度，实际操作有较大难度。