【概要】线性回归

线性回归是一种基础且常用的回归分析方法，主要用于建立自变量（特征）和因变量（目标值）之间的线性关系。其核心思想是通过拟合数据找到一条直线，使得预测值与实际值之间的误差最小化。最常用的优化方法是最小二乘法，它通过最小化预测值与实际值之间误差的平方和来求解模型参数。

核心步骤：

1. 模型假设：假设目标变量 $y$ 与自变量 $x_1,x_2,\dots ,x_n$ 之间存在线性关系，表示为：
   $$y={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_n{x}_n+ϵ$$
   其中，${\beta }_0$ 是截距，${\beta }_1,\dots ,{\beta }_n$ 是回归系数，$ϵ$ 是误差项。

2. 训练过程：通过训练数据来估计回归系数（${\beta }_0,{\beta }_1,\dots ,{\beta }_n$），最常用的优化目标是最小化均方误差（MSE）：
   $$MSE=\frac{1}{m}\sum _{i=1}^m(y_i-{\hat{y}}_i{)}^2$$
   其中，$m$ 是样本数量，$y_i$ 是真实值，${\hat{y}}_i$ 是模型预测值。

3. 预测过程：一旦确定了回归系数，新的输入特征可以通过已拟合的模型进行预测。

优缺点：

• 优点：计算简单、易于理解，适用于线性关系较强的情况。
• 缺点：对异常值敏感，假设数据具有线性关系，不能很好处理非线性或高维特征。

应用场景：适用于需要预测连续值的任务，如房价预测、销售预测等。