机器学习算法 ---- 正规方程组

监督学习之正规方程组

上一篇博客是介绍了梯度下降法，旨在每一次迭代都从下降梯度最大的方向进行，最终找到全局最大值！但是，这样的效率往往是不高的，无论是批量梯度下降法还是改进后的随机梯度下降法，在大样本的情况下都需要进行迭代。那么今天学习的正规方程组就希望用一个式子就将参数表示出来。

 

数学概念和定理的引入

这里要得到正规方程组，需要一些高等数学和线性代数的知识，在此引入：
（公式太难打了）

对于上图中的定理，我给出证明如下（6过程颇多，有兴趣的可以联系我）：

 
于是，正规方程组推导如下：

 

以上便是推导过程，相比于迭代，正规方程组将直接得出参数值，无疑提高了效率