1.什么是线性回归
线性:两个变量之间的关系是一次函数关系的——图象是直线,叫做线性。
非线性:两个变量之间的关系不是一次函数关系的——图象不是直线,叫做非线性。
回归:人们在测量事物的时候因为客观条件所限,求得的都是测量值,而不是事物真实的值,为了能够得到真实值,无限次的进行测量,最后通过这些测量数据计算回归到真实值,这就是回归的由来。
2 能够解决什么样的问题
对大量的观测数据进行处理,从而得到比较符合事物内部规律的数学表达式。也就是说寻找到数据与数据之间的规律所在,从而就可以模拟出结果,也就是对结果进行预测。解决的就是通过已知的数据得到未知的结果。例如:对房价的预测、判断信用评价、电影票房预估等。
3 一般表达式是什么
y=wx+b
w叫做x的系数,b叫做偏置项。
4. 如何计算
利用梯度下降法找到最小值点,也就是最小误差,最后把 w 和 b 给求出来。
5. 过拟合、欠拟合如何解决
使用正则化项,也就是给loss function加上一个参数项,正则化项有L1正则化、L2正则化、ElasticNet。加入这个正则化项好处:
控制参数幅度,不让模型“无法无天”。
限制参数搜索空间
解决欠拟合与过拟合的问题。
5.1 什么是L2正则化(岭回归),L1正则化(Lasso回归)
假设我们考虑一个回归问题,数据集 此处我们选择L2损失函数,则模型优化的目标为:
其中□(→┬w )表示模型的参数。
当我们的数据量不大的时候,可能会造成过拟合的情况。过拟合在分类问题中可以使用决策树的修剪等办法解决,但是在回归问题中,