简单线性回归、最小二乘法

线性回归算法

• 解决回归问题
• 思路简单，实现容易
• 许多强大的非线性性模型的基础
• 结果具有很好的可解释性
• 蕴含机器学习中很多重要思想

寻找一条直线，最大程度的“拟合”样本特征和样本实处标记之间的关系
样本特征只有一个，成为简单线 性回归

简单线性回归

假设我们找到了最佳拟合的直线方程：y=ax+b

则对于每一个样本点$x^{(i)}$根据我们的直线方程，预测为：${\hat{y}}^{(i)}=a{x}^{(i)}+b$

真值为$y^{(i)}$

我们希望$y^{(i)}$和${\hat{y}}^{(i)}$的差距尽量小

表达$y^{(i)}$和${\hat{y}}^{(i)}$的差距：$y^{(i)}-{\hat{y}}^{(i)}$

因为差值可正可负，故采用绝对值表示差距比较方便：$\left|{\hat{y}}^{(i)}=a{x}^{(i)}+b\right|$

为了后续便于求导求极值，我们使用$(y^{(i)}-{\hat{y}}^{(i)}{)}^2$来表示差距

考虑所有样本：${\sum }_{i=1}^m(y^{(i)}-{\hat{y}}^{(i)}{)}^{}$