线性回归，回归算法评估， 多元线性回归

线性回归

• 解决回归问题
• 思想简单，实现容易
• 许多强大的非线性模型的基础
• 结果具由很好的可解释性
• 蕴含机器学习中的很多重要思想

例如 房屋价格（输出标记）和面积（样本特征）之间的关系

简单线性回归

样本特征只有一个，称为 简单线性回归
其关系为 y = ax+b

假设我们找到3了最佳拟合的直线方程，y =ax+b
则对每个样本点 x_i 根据我们的直线方程，预测值为 ${\hat{y}}^i$ = a$x^i$ + b
其真值 为 $y^i$
我们 希望 $y^i$ 和 ${\hat{y}}^i$ 的差距尽量小，表达 $y^i$ 和 ${\hat{y}}^i$的差距：

$(y^i-{\hat{y}}^i{)}^2$ ,
考虑所有样本：

${\sum }_{i=1}^m(y^i-{\hat{y}}^i{)}^2$.
目标：
使 ${\sum }_{i=1}^m(y^i-{\hat{y}}^i{)}^2$ 尽可能的小
带入 ${\hat{y}}^i$ = a$x^i$ + b
变成：${\sum }_{i=1}^m(y^i-a{x}^i-b{)}^2$
目标变成： 找到 a和b, 使得 ${\sum }_{i=1}^m(y^i-a{x}^i-b{)}^2$ 尽可能的小

通过分析问题，确定问题的损失函数或者效用函数，通过最优化损失函数或者效用函数，获得机器学习的模型。 近乎所有函数学习算法都是这样的套路。
例如 线性回归 多项式回归 逻辑回归 svm 神经网络…
最优化，凸优化

目标变成： 找到 a和b, 使得 ${\sum }_{i=1}^m(y^i-a{x}^i-b{)}^2$ 尽可能的小
是典型的最小二乘法问题： 最小化误差的平方
$$a=\frac{{\sum }_{i=1}^m(x^i-\overline{x})(y^i-\overline{y})}{{\sum }_{i=1}^m(x^i-\overline{x}{)}^2}$$
$$b=\overline{y}-a\overline{x}$$

最小二乘法

目标变成： 找到 a和b, 使得 ${\sum }_{i=1}^m(y^i-a{x}^i-b{)}^2$ 尽可能的小
定义为 J(a,b) 损失函数
求损失函数的最小值就是求损失函数的极值，求函数的极值最基本的方法就是对函数各个位置分量求导，使他的倒数等于0
所以就变成了：
$$J(a,b)=\sum _{i=1}^m(y^i-a{x}^i-b{)}^2$$
$\frac{dJ(a,b)}{da}=0$
$\frac{dJ(a,b)}{db}=0$

对b求导

$\frac{dJ(a,b)}{db}={\sum }_{i=1}^{m}2(y^i-a{x}^i-b)(-1)$ = 0

$\Downarrow$

${\sum }_{i=1}^m{y}^i-a{x}^i-b$ = 0

$\Downarrow$

${\sum }_{i=1}^m{y}^i-a{\sum }_{i=1}^m{x}^i-{\sum }_{i=1}^{m}b$ = 0

$\Downarrow$ 因为 b是常数

∑ i = 1 m y i − a ∑ i = 1 m x i − m b \sum_{i=1}^m y^i -a\sum_{i=1}^m x^i - mb ∑i=1m​yi−a∑i=1m​x