线性回归模型

线性回归是一种基本的机器学习模型，用于建立连续变量之间的线性关系。在线性回归模型中，我们试图通过一条直线来拟合数据点，并根据该直线预测未知数据的输出。

线性回归模型的数学表达式为：

y = wx + b

其中，y 是因变量，x 是自变量，w 是权重（或系数），b 是偏置（或截距）。我们的目标是找到最佳的 w 和 b，使得拟合线最好地描述了数据。

在训练过程中，我们使用最小二乘法来确定最佳的 w 和 b 值，即通过最小化预测值和真实值之间的差异来优化模型。最小二乘法的数学表达式为：

loss(w,b) = 1/2m * sum((y - wx - b) ^ 2)

其中，m 是训练数据的样本数，sum 是求和符号，y 是真实值，w 是权重，x 是特征向量，b 是偏置。

优化模型的方法有很多种，其中一种常用的方法是梯度下降法。梯度下降法通过迭代的方式更新模型参数，直到达到最小化损失函数的目标。

在梯度下降法中，我们首先随机初始化 w 和 b 的值，然后计算损失函数的梯度，即对 w 和 b 分别求偏导数。我们将梯度乘以一个学习率 lr，然后将 w 和 b 更新为：

w = w - lr * dw
b = b - lr * db

其中，dw 和 db 分别是 w 和 b 的梯度。

重复以上过程，直到达到预定的迭代次数或损失函数收敛为止，即可完成模型的训练。