监督学习——回归模型
线性回归是一种线性模型,它假设输入变量x和单个输出变量y之间存在线性关系。
具体来说,利用线性回归模型,可以从一组输入变量x的线性组合中,计算出变量y: y=ax+b
通常利用最小二乘法来求得线性回归方程的系数,一般求得结果如下:
多元线性回归:
如果有两个或两个以上的自变量,这样的线性回归分析称为多元线性回归
实际问题中,一个现象受多个因素影响,所以多元线性回归比一元线性回归的实际应用更广。
梯度下降法:
梯度下降求解线性回归:α在梯度下降算法中被称为学习率或者步长,这意味着我们可以通过α来控制每一步走的距离,以保证不要走太快,错过了最低点;同时也要保证手链速度不要太慢。 所以α的选择在剃度下降法中往往很重要,不能太大也不能太小。