1.什么是线性回归问题
线性回归问题可以解释为:给我一个支点,我就会撬起整个地球。但支点在哪里呢?这就是我们回归需要做的事情。
举个栗子:
我也想拥有一个属于自己的家,也要做个幸福的还贷者了。但银行能给我的贷款额度是多少呢?
此时,银行会根据以往借贷成功的经验数据,要考察我的年龄和收入,计算出可批给我的贷款额度。
提炼出数学问题就是:
数据:工资和年龄
目标:预测银行批的贷款额度
考虑:工资和年龄是如何影响贷款额度
2.线性回归模型建立
对于每个观测值x(特征)建立线性回归模型
观测值和真实值之间存在一定的差异,称为误差,用ε表示
对于每个样本有:
ⅈ
又 独立同分布且服从均值为0,方差为的高斯分布
即:
在概率论中可通过似然估计求解最优参数解
所以:
求解此连乘的似然函数可选用对数似然函数,把乘积转换为加法: