线性回归-正规方程（7）

  1.3、简单线性回归

  前面提到过，算法说白了就是公式，简单线性回归属于一个算法，它所对应的公式。

  𝑦=𝑤𝑥+𝑏y=wx+b

  这个公式中，y 是目标变量即未来要预测的值，x 是影响 y 的因素，w,b 是公式上的参数即要求的模型。其实 b 就是咱们的截距，w 就是斜率嘛！ 所以很明显如果模型求出来了，未来影响 y 值的未知数就是一个 x 值，也可以说影响 y 值 的因素只有一个，所以这是就叫简单线性回归的原因。

  同时可以发现从 x 到 y 的计算，x 只是一次方，所以这是算法叫线性回归的原因。 其实，大家上小学时就已经会解这种一元一次方程了。为什么那个时候不叫人工智能算法呢？因为人工智能算法要求的是最优解！

1.4、最优解

  Actual value:真实值，一般使用 y 表示。

  Predicted value:预测值，是把已知的 x 带入到公式里面和猜出来的参数 w,b 计算得到的，一般使用 𝑦̂y^ 表示。

   Error:误差，预测值和真实值的差距，一般使用 𝜀ε 表示。

  最优解:尽可能的找到一个模型使得整体的误差最小，整体的误差通常叫做损失 Loss。

  Loss:整体的误差，Loss 通过损失函数 Loss function 计算得到。

0.2  1.5、多元线性回归

  现实生活中，往往影响结果 y 的因素不止一个，这时 x 就从一个变成了 n 个，𝑋1X1...𝑋𝑛Xn 同时简单线性回归的公式也就不在适用了。多元线性回归公式如下：

  𝑦̂=𝑤1𝑋1+𝑤2𝑋2+……+𝑤𝑛𝑋𝑛+𝑏y^=w1X1+w2X2+……+wnXn+b

  b是截距，也可以使用𝑤0w0来表示

  𝑦̂=𝑤1𝑋1+𝑤2𝑋2+……+𝑤𝑛𝑋𝑛+𝑤0y^=w1X1+w2X2+……+wnXn+w0

  𝑦̂=𝑤1𝑋1+𝑤2𝑋2+……+𝑤𝑛𝑋𝑛+𝑤0∗1y^=w1X1+w2X2+……+wnXn+w0∗1

  使用向量来表示，X表示所有的变量，是一维向量；W表示所有的系数（包含𝑤0w0），是一维向量，根据向量乘法规律，可以这么写：

  𝑦̂=𝑊𝑇𝑋y^=WTX

1  2、正规方程

1.1  2.1、最小二乘法矩阵表示

  最小二乘法可以将误差方程转化为有确定解的代数方程组（其方程式数目正好等于未知数的个数），从而可求解出这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程。公式如下：

𝜃=(𝑋𝑇𝑋)−1𝑋𝑇𝑦θ=(XTX)−1XTy 或者 𝑊=(𝑋𝑇𝑋)−1𝑋𝑇𝑦W=(XTX)−1XTy ，其中的𝑊、𝜃W、θ 即使方程的解！

公式是如何推导的？

最小二乘法公式如下：

𝐽(𝜃)=12∑𝑖=0𝑛(ℎ𝜃(𝑥𝑖)−𝑦𝑖)2J(θ)=12∑i=0n(hθ(xi)−yi)2

使用矩阵表示：

𝐽(𝜃)=12∑𝑖=0𝑛(ℎ𝜃(𝑥𝑖)−𝑦)(ℎ𝜃(𝑥𝑖)−𝑦)J(θ)=12∑i=0n(hθ(xi)−y)(hθ(xi)−y)

𝐽(𝜃)=12(𝑋𝜃−𝑦)𝑇(𝑋𝜃−𝑦)J(θ)=12(Xθ−y)T(Xθ−y)

之所以要使用转置T，是因为，矩阵运算规律是：矩阵A的一行乘以矩阵B的一列

1.2  2.2、多元一次方程举例

1、二元一次方程

{𝑥+𝑦=142𝑥−&#