量纲对回归结果的影响_模型之母：多元线性回归

0x00 前言

在线性回归的前3篇中，我们介绍了简单线性回归这种样本只有一个特征值的特殊形式，并且了解了一类机器学习的建模推导思想，即：

1. 通过分析问题，确定问题的损失函数或者效用函数；
2. 然后通过最优化损失函数或者效用函数，获得机器学习的模型。然后我们推导并实现了最小二乘法，然后实现了简单线性回归。最后还以简单线性回归为例，学习了线性回归的评价指标：均方误差MSE、均方根误差RMSE、平均绝对MAE以及R方。

但是，在真实世界中，一个样本通常有很多(甚至成千上万)特征值的，这就是多元线性回归。本篇内容我们学习多元线性回归并实现。

0x01 多元线性回归

对于下面的样本数据集  对应的是一个向量，每一行是一个样本，每列对应一个特征。对应的结果可以用如下如下公式： 

简单线性回归，只计算前两项，但是在多元线性回归中就要学习到n+1个参数，就能求出多元线性回归预测值： 

也就是：第一个特征与参数1相乘、第二个特征与参数2相乘，累加之后再加上截距。就能得到预测值。

求解思路也与简单线性回归非常一致，目标同样是：

已知训练数据样本、 ，找到，使  尽可能小.

其中  是列向量列向量，而且我们注意到，可以虚构第0个特征X0，另其恒等于1，推导时结构更整齐，也更加方便：

这样我们就可以改写成向量点乘的形式：