机器学习入门之7种经典回归模型

介绍

线性和逻辑回归通常是学习数据科学时接触的第一个算法，由于它们非常流行，许多分析师甚至认为它们是唯一的回归技术。

事实上，存在多种不同形式的回归模型，每种形式都有自身的特点和特定的应用场景。在本文中，我将简要介绍数据科学中最常用的7种回归模型。

通过本文，我希望人们对回归分析有更深入的理解，而不是仅仅停留在线性回归和逻辑回归的层面。

本文来自《数据黑客》，登录官网可阅读更多精彩资讯和文章。

目录

1. 什么是回归分析？
2. 为什么使用回归分析？
3. 有哪些常用的回归模型？
4. 线性回归
5. 逻辑回归
6. 多项式回归
7. 逐步回归
8. Ridge回归
9. Lasso回归
10. ElasticNet回归
11. 如何选择正确的模型？

1. 什么是回归分析？

回归分析是一种预测建模技术，用于研究因变量（目标变量）与自变量（预测变量/特征）之间的关系。该技术用于预测，时间序列建模以及检验变量之间的因果关系。例如，通过回归分析研究疲劳驾驶与道路交通事故发生次数之间的关系。

回归分析是建模和分析数据的重要工具。如上图所示，我们尝试用曲线拟合数据点，以使数据点到曲线的距离之和最小化。我将在接下来的部分详细说明这一点。

2. 为什么要使用回归分析？

如上所述，回归分析估计两个或多个变量之间的关系。让我们举一个更简单的例子：

假设您要根据当前的经济状况估算公司的销售增长，您具有最新的公司数据，该数据表明销售增长约为经济增长的两倍半。利用这一见解，我们可以根据当前和过去的信息来预测公司未来的销售。

使用回归分析有多个好处，比如：

1. 评估因变量和自变量之间是否显著相关。
2. 评估多个自变量对因变量的影响强度。

回归分析还能够比较在不同规模上测量的变量的关系，例如价格变化对促销商品数量的影响。这些好处可帮助市场研究人员/数据分析师/数据科学家创建用于预测的最佳变量集。

3. 有哪几种类型的回归模型？

有多种回归模型可用于预测，这些技术主要由三个指标（自变量数量，因变量类型和回归线的形状）驱动。我们将在以下各节中详细讨论它们。

4. 线性回归

线性回归是最广为人知的建模技术之一，它通常是学习机器学习时最先接触的技术。在线性回归中，因变量是连续的，自变量可以是连续的或离散的，并且模型相对于系数也是线性的。

线性回归使用最佳拟合直线（回归线）在因变量（Y）和一个或多个自变量（X）之间建立关系。它由等式Y = a + b * X + e表示 ，