常用回归算法

回归是数学建模、分类和预测中最古老但功能非常强大的工具之一。回归在工程、物理学、生物学、金融、社会科学等各个领域都有应用，是数据科学家常用的基本工具。

回归通常是机器学习中使用的第一个算法。通过学习因变量和自变量之间的关系实现对数据的预测。例如，对房价估计时，需要确定房屋面积（自变量）与其价格（因变量）之间的关系，可以利用这一关系来预测给定面积的房屋的价格。可以有多个影响因变量的自变量。

因此，回归有两个重要组成部分：自变量和因变量之间的关系，以及不同自变量对因变量影响的强度。

以下是几种常用的回归方法：

1. 线性回归：使用最广泛的建模技术之一。已存在 200 多年，已经从几乎所有可能的角度进行了研究。线性回归假定输入变量（X）和单个输出变量（Y）之间呈线性关系。它旨在找到预测值 Y 的线性方程：
   $$Y_{hat}=W^{T}X+B$$
   其中，X=(x1,​x2,…,xn) 为 n 个输入变量，W=(w1,w2,…,wn) 为线性系数，b 是偏置项。目标是找到系数 W 的最佳估计，使得预测值 Y 的误差最小。使用最小二乘法估计线性系数 W，即使预测值 (Yhat) 与观测值 (Y) 之间的差的平方和最小。
   因此，这里尽量最小化损失函数：
   $$loss={\sum }_{i=1}^p{Y}_i-Y_{{hat}_{}}$$