线性回归概述

1.什么是线性回归问题

线性回归问题可以解释为：给我一个支点，我就会撬起整个地球。但支点在哪里呢？这就是我们回归需要做的事情。

举个栗子：

我也想拥有一个属于自己的家，也要做个幸福的还贷者了。但银行能给我的贷款额度是多少呢？

此时，银行会根据以往借贷成功的经验数据，要考察我的年龄和收入，计算出可批给我的贷款额度。

 

提炼出数学问题就是：

数据：工资和年龄

目标：预测银行批的贷款额度

考虑：工资和年龄是如何影响贷款额度

2.线性回归模型建立

对于每个观测值x(特征)建立线性回归模型

                                       

观测值和真实值之间存在一定的差异，称为误差，用ε表示

对于每个样本有：

                                          ⅈ

又 独立同分布且服从均值为0，方差为的高斯分布

即：

                    

在概率论中可通过似然估计求解最优参数解

所以：

                    

求解此连乘的似然函数可选用对数似然函数，把乘积转换为加法：