机器学习——线性回归的原理，推导过程，源码，评价

https://www.toutiao.com/a6684490237105668620/

 

2019-04-27 16:36:11

0.线性回归

做为机器学习入门的经典模型，线性回归是绝对值得大家深入的推导实践的，而在众多的模型中，也是相对的容易。线性回归模型主要是用于线性建模，假设样本的特征有n个，我们通常将截距项也添加到特征向量x中，即在x中添加一个全为1的列，这是，我们就能够将模型表示为如下的形式：

 

1.残差的解释

根据上述的模型，我们可以表示出样本的标签值与模型预测值之间的表达式，如下所示：

 

上述式子中，根据残差的定义：实际值和预测值之间的差值，可知，

 

即为模型的残差。那么，我们想知道的是，

 

在模型中是怎么样的分布呢？

1，残差是由模型中的许多误差的积累的结果，即模型中许多的误差的累加作用的结果。

2，假定这些误差的分布是相同的。

那么，根据中心极限定理，

 

是多个独立同分布的变量的累加结果，则

 

是服从均值为某值，方差为某值的高斯分布，对于均值，我们总是可以通过改变模型的截距，是的模型得到的平面上下移动，是的得到的残差的分布的均值为0，假设方差为定值

 

。

 

2.中心极限定理

在实际的问题中，很多的随机现象可以看做是众多因素的独立影响的综合反应，往往可以看做是服从正态分布。比如，城市的耗电量：大量用户的用电量总和。测量误差：许多观察不到的，微小误差的总和。中心极限定理的关键是多个随机变量的和，在有些问题中是乘积误差，这时则需要鉴别后再使用。

3.极大似然估计

我们得到了残差的分布函数，因而我们可以对残差进行极大似然估计，就能够得到似然函数，而似然函数中应该是含有参数，因而我们就能够通过似然函数求极大值，得到参数的表达式，进而得到模型的解。

 

 

在上述推导过程中，我们先是对似然函数求极大值，得到的结果中，发现是一个减法计算，因而只需对后面的式子求最小值，则能够得到线性回归的代价函数，这也和我们的理解是相符合的，即模型的预测值应该使得它和实际值相差越小越好。

关注小编，更多精彩内容推送哦！