在做大疆笔试题时有个一个最小二乘矩阵求解问题的简答题,当时紧张完全有点蒙逼,写了一部分,但是没有做好,所以下来总结一下经验教训,加深记忆。(最好还是多看看矩阵微分和积分,本人这方面学的不好,感觉要好好哦补补啦)
最小二乘法解的矩阵形式推导
从矩阵的角度来理解:
首先我们给出一个矩阵中的定义:
有了上面的定义之后,我们就可以写出最小二乘问题的矩阵形式:
就是求在欧几里得空间中以2-范数作为距离,使得向量Ax与b之间距离最小的x。 我们的目标是求:
当然我们知道,使得距离最小的向量x与使得距离平方最小的向量x是相同的,于是我们可以将所求的目标改写为:
结合一些矩阵、行列式的知识,我们知道:
根据大学的高数知识,求最极值问题直接对应的就是导数为零,因此我们试图将所给出的原式的矩阵形式求导:
不过首先需要补充矩阵微积分(matrix calculus)的一些知识
如果矩阵A是对称的(symmetric matrix):
接下来,对原式化简并求其对x的导数:
求导得到:
于是就得到了,最小二乘法解的矩阵形式:
当然了,这里是最简答的线性最小二乘法,还有更为复杂的非线性以及矩阵A不满秩的情况
而大疆笔试题中给出的不是对对称矩阵,根据这个思路是可以推出来的