一篇搞定从零学会机器学习算法: 线性回归(Linear Regression)

回归算法

回归，指研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通常Y1，Y2，…，Yi是因变量，X1、X2，…，Xk是自变量。
回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。

常见的回归算法

Linear Regression线性回归
它是最为人熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。
线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。
用一个方程式来表示它，即Y = a x + b + ϵ Y=ax + b + \epsilonY=ax+b+ϵ，其中a表示直线的斜率，b表示截距，e是误差项。这个方程可以根据给定的预测变量（s）来预测目标变量的值。
Logistic Regression逻辑回归
逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，我们就应该使用逻辑回归。他广泛的用于分类问题。
Polynomial Regression多项式回归
对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。如下方程所示：
y = a ∗ x 2 + b y=a*x^2+by=a∗x2+b
在这种回归技术中，最佳拟合线不是直线。而是一个用于拟合数据点的曲线。过拟合欠拟合问题.在多项式回归中非常常见.
Stepwise Regression逐步回归
在处理多个自变量时，我们可以使用这种形式的回归。在这种技术中，自变量的选择是在一个自动的过程中完成的，其中包括非人为操作。
这一壮举是通过观察统计的值，如R-square，t-stats和AIC指标，来识别重要的变量。逐步回归通过同时添加/删除基于指定标准的协变量来拟合模型。下面列出了一些最常用的逐步回归方法：
标准逐步回归法做两件事情。即增加和删除每个步骤所需的预测。
向前选择法从模型中最显著的预测开始，然后为每一步添加变量。
向后剔除法与模型的所有预测同时开始，然后在每一步消除最小显着性的变量。
这种建模技术的目的是使用最少的预测变量数来最大化预测能力。这也是处理高维数据集的方法之一。
Ridge Regression岭回归

岭回归分析是一种用于存在多重共线性（自变量高度相关）数据的技术。在多重共线性情况下，尽管最小二乘法（OLS）对每个变量很公平，但它们的差异很大，使得观测值偏移并远离真实值。岭回归通过给回归估计上增加一个偏差度，来降低标准误差。
Lasso Regression套索回归
它类似于岭回归，Lasso （Least Absolute Shrinkage and Selection Operator）也会惩罚回归系数的绝对值大小。此外，它能够减少变化程度并提高线性回归模型的精度。
ElasticNet回归
ElasticNet是Lasso和Ridge回归技术的混合体。它使用L1来训练并且L2优先作为正则化矩阵。当有多个相关的特征时，ElasticNet是很有用的。Lasso 会随机挑选他们其中的一个，而ElasticNet则会选择两个。
——以上部分内容摘自腾讯云社区的陆勤_数据人网发布的算法:其中常用的回归算法.

线性回归

概念

线性回归(Linear Regression) 顾名思义,是基于线性模型的回归分析.是最为人熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。
线性回归使用最佳的拟合直线（也就是回归线）在因变量（y）和一个或多个自变量（x）之间建立一种关系。
用一个方程式来表示它，即y=ax + b + ε，其中a表示直线的斜率，b表示截距, ε是误差项。这个方程可以根据给定的预测变量（s）来预测目标变量的值。

上图包含两个公式,上边的公式大家非常熟悉就是我们学生时代学习的二维空间中的一次函数,函数图像是一条直线.而下边的公式也很好理解,他只是在维度发生了改变,是多维空间中的一条直线.函数图像是直线,我们称之为线性,是否线性只需要观察函数中是否只有一次项即可.只要都是一次项那么不管几维空间,他都是直线.另外,