正规方程组与梯度下降都是用来求参数的方法,梯度下降在上一篇博文中已经讲述过,下面来讲一下正规方程组。
首先,前提知识A是一个输入矩阵,,也就是对A中的每个元素求偏导,举例,
然后引入了矩阵的迹,,这是在线性代数中的知识,下面给出一系列公式, 有兴趣的可以自己证明一下。
|A|代表的是A的行列式。
下面讲述正规方程组的步骤。
给定一个
由于我们知道也就是
所以
感觉还是有点抽象,看的不是很懂,想深入了解的可以去看一下原文的讲义
matlab:
X=[1,4;2,5;5,1;4,2]
B=X' % 表示X矩阵的转置
C=inv(B*X) %求XT*X的逆矩阵
Y=[19;26;19;20] %表示结果矩阵
C*B*Y
与上一篇的梯度下降求得结果一样