线性回归

1.什么是线性回归
线性：两个变量之间的关系是一次函数关系的——图象是直线，叫做线性。
非线性：两个变量之间的关系不是一次函数关系的——图象不是直线，叫做非线性。
回归：人们在测量事物的时候因为客观条件所限，求得的都是测量值，而不是事物真实的值，为了能够得到真实值，无限次的进行测量，最后通过这些测量数据计算回归到真实值，这就是回归的由来。

2 能够解决什么样的问题
对大量的观测数据进行处理，从而得到比较符合事物内部规律的数学表达式。也就是说寻找到数据与数据之间的规律所在，从而就可以模拟出结果，也就是对结果进行预测。解决的就是通过已知的数据得到未知的结果。例如：对房价的预测、判断信用评价、电影票房预估等。

3 一般表达式是什么
y=wx+b
w叫做x的系数，b叫做偏置项。
4. 如何计算
利用梯度下降法找到最小值点，也就是最小误差，最后把 w 和 b 给求出来。
5. 过拟合、欠拟合如何解决
使用正则化项，也就是给loss function加上一个参数项，正则化项有L1正则化、L2正则化、ElasticNet。加入这个正则化项好处：
控制参数幅度，不让模型“无法无天”。
限制参数搜索空间
解决欠拟合与过拟合的问题。
5.1 什么是L2正则化(岭回归)，L1正则化(Lasso回归)
假设我们考虑一个回归问题，数据集 此处我们选择L2损失函数，则模型优化的目标为：

其中□(→┬w )表示模型的参数。
当我们的数据量不大的时候，可能会造成过拟合的情况。过拟合在分类问题中可以使用决策树的修剪等办法解决，但是在回归问题中，