python一元三次方程拟合_线性回归之正规方程原理推导

线性回归之正规方程原理推导

• 本篇文章，适用有一定基础的程序员。
• 正规方程求解线性回归的解：
  • 有的用系数$$theta$$表示，有的用$$w$$表示，仅仅是符号不同而已。
  • $$theta = (X^TX)^{-1} X^Ty$$
  • $$w = (X^TX)^{-1} X^Ty$$

• 线性回归的理论基础是，最小二乘法skleran官方公式：
  • $$minlimits{w}||Xw - y||2^2$$
  • 其中X，w和y都是矩阵
  • 公式中右下角2表示向量2范数，右上角2表示平方
    • 向量1-范数$$||X||1 = sumlimits{i=1}^{n}|x_{i}|$$所有元素的绝对值之和
    • 向量2-范数$$||X||2 = sqrt{sumlimits{i =1}^nx_i^2}$$所有元素的平方和开平方
    • 向量的无穷范数$$||X||{infty} = maxlimits{1leq ileq n}|x_i|$$

• • 当方程取最下值时，求解的w就为最优解
  • 右上角的平方意味着，方程存在最小值，对矩阵求导，令导数为零，求解的w即为最优解。

• 矩阵基本求导公式：
  • $$frac{dX^T}{dX} = I$$
  • $$frac{dX^TA}{dX} = A$$
  • $$frac{dAX}{dX} = A^T$$
  • $$frac{dX}{dX