矩阵求导阶最小二乘法的推导

最小二乘法的目标：求误差的最小平方和。对应有两种模型：线性模型和非线性模型。如果矩阵是可逆的，线性模型最小二乘的解是closed-form（闭式解）即

而非线性最小二乘没有closed-form（闭式解），通常用迭代法求解。其中有很多比较有名的迭代法，如梯度下降法(又分为批梯度下降、随机梯度下降)、牛顿法、拟牛顿法等，它们的应用条件更为广泛（无约束），都是通过迭代更新来逐步进行的参数优化方法，最终结果为局部最优。如果优化的函数是凸函数，极小值点即最小值点，存在全局最优解。对于这几种方法，这里不展开介绍。本文主要对以上公式给予证明。

线性回归就是用一个线性函数对已知数据进行拟合，最终得到一个线性函数，使这个函数满足我们的要求（如具有最小平方差,随后我们将定义一个代价函数，使这个目标量化），之后我们可以利用这个函数，对给定的输入进行预测。如下图所示：

假设拟合函数具有如下形式

如何高效的求解θ是学习的重点。

矩阵求导解最小二乘法

从上一篇文章我们知道求解拟合函数，可以通过最小二乘法求解。这篇文章主要介绍多维空间下如何基于矩阵求导来计算，这种计算方式更加简洁高效，不需要大量迭代，只需解一个正规方程组。

基本理论

在开始之前，首先来认识一个概念和一些用到的定理。矩阵的迹定义如下:一个的矩阵的迹是指的主对角线上各元素的总和，记作tr(A)。即

根据最小二乘法理论可得

Happy enjoy it ^_^