多元线性回归和正规方程解

多元线性回归

X表示第 i 个样本的（1，2，3，……n）个特征。
一维多元函数如下，

本节的多维多元函数（每个样本有多个特征）为：

• 对于一元线性回归，我们的目标是使下式
  
  尽可能小，即，我们预测的结果和真实的结果的差的平方和尽可能的小。
• 对于多元函数，我们的目标是找到
  
  使得
  
  尽可能小。

令


我们可认为

此时

设想有一个矩阵

相应的

可得一个列向量：

因此，我们的目标可转变为求

使得

尽可能小。

推导过程比较复杂，可直接使用如下推导结果（感兴趣的可以从书中或者互联网查阅推导结果）：

正规方程解

由上式所得的公式

就称为多元线性回归的正规方程解（Normal Equation)

其实，所求解是存在问题的，我们使用朴素的矩阵的运算方式求解此式的时间复杂度是比较高的，为 O(n^3)，虽然对于解决
矩阵是有一些加速方案的，但使用加速方案，整体优化出来也是O(n^2.4).
这样做也有一个优点，就是不需要对数据做归一化处理。