正规方程(normal equation)

正规方程(normal equation)

线性回归模型求拟合函数的最优参数，一般有两种方法：

• 梯度下降法，过程是对损失函数的每个参数求偏导，通过迭代一步步更新，直至收敛到局部或全局最小值，从而得到最优参数。
• 正规方程，过程是对于一个损失函数，将其对参数求导，得到导函数并将其值置为0，从而解出最优参数。

下面是正规方程的推导：

线性回归模型：
$$f(x)=w_0+w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d$$
即：
$$\begin{gathered} f(x)=w_0{x}_0+w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d \\ Note:x_0=1 \end{gathered}$$
写成向量形式：
$$\begin{gathered} f(x^i)=W^T{x}^i \\ Note:x^i表示第i个样本 \end{gathered}$$
其中：
$$\begin{array}{l}\begin{array}{lcr}X=\left[\begin{array}{cccc}{x}_0^1& x_1^1& \dots & x_d^1\\ x_0^2& x_1^2& \dots & x_d^2\\ x_0^3& x_1^3& \dots & x_d^3\\ ⋮& ⋮& ⋮& ⋮\\ x_0^m& x_1^m& \dots & x_d^m\end{array}\right]& W=\left[\begin{array}{c}{w}_0\\ w_1\\ w_2\\ ⋮\\ w_d\end{array}\right]& Y=\lfloor \end{array}\end{array}$$