详解机器学习基础--线性回归算法

线性回归解决了什么？

线性回归算法可以帮助解决回归问题，对处理回归问题有着天然的优势，线性回归算法虽然简单，但是对于处理回归问题还是有着比较好的作用

线性回归算法思想简单，实现容易，结果具有较好的解释性，也就是我们可以通过线性回归训练的参数用来解释我们的特征数据

简单线性回归：

公式：y = ax + b

为了表达我们的预测值y^(i)与真实值y(i)的差距，我们采取损失函数的做法

损失函数：Σ(y(i) - y^(i))²

其中我们的预测值 y^(i) = ax(i) + b

目标：找到最优参数 a 和 b 使得我们损失函数不断优化 进而优化算法 这种做法一般称为最优化原理

我们的目标在这个问题中属于典型最小二乘法问题

这里不再赘述推导过程

衡量指标：均方误差 均方根误差 平均绝对误差

评判回归问题的指标：RSquare

其中 我们的 R²越大越好，如果R²等于0，代表我们的模型等同于基准模型，若R²小于0，代表我们的模型连基准模型都不如，即我们应思考问题是否满足线性关系

R² = 1 - MSE(y^,y) / var(y)

 多元线性回归：

我们从一维扩展至了多维

y = θ0 + θ1x1 + θ2x2 + θ3x3 + ...... + θnxn

θ = (θ0,θ1,θ2,θ3,......,θn)T

y^(i) = θ0x0(i) + θ1x1(i) + θ2x2(i) + ...... + θnxn(i) 

x0(i) = 1

y^ = xb·θ

多元线性回归正规方程解：

θ = （xbTxb）-¹·xbT·y