线性回归模型标准公式

用一组特征$x^{(i)}$来预测或估计一个响应变量$y^{(i)}$，公式如下：
$$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$$
各名词解释：
$y^{(i)}$：这是第$i$个观察点的响应变量，也就是我们想要预测的目标值。
$x^{(i)}$：这是一个特征向量，包含了与第$i$个观察点相关的所有特征值。例如，在房价预测模型中，这些特征可能包括房屋的大小、位置、房间数量等。
$\theta$：这是一个参数向量，包含了每个特征对预测结果$y^{(i)}$影响的权重。在机器学习中，这些权重通常是通过训练数据学习得到的。
${\theta }^T$：这表示参数向量$\theta$的转置。在数学中，一个列向量的转置变为行向量。在这个公式中，它允许我们将 $\theta$与特征向量$x^{(i)}$相乘，得到一个标量值。
${ϵ}^{(i)}$：这代表误差项，是实际响应值$y^{(i)}$与通过模型预测的${\theta }^T{x}^{(i)}$之间的差异。在现实世界中，数据往往不会完美地落在一条直线上，误差项就是用来捕捉这些无法通过模型解释的变异性。

将这些组件结合起来，${\theta }^T{x}^{(i)}$表示给定特征向量$x^{(i)}$时，模型预测的响应值。当我们把所有的特征$x^{(i)}$与它们对应的权重$\theta$相乘并求和时，我们就得到了一个数值，这个数值是响应变量的预测值，或者说是我们期望的$y$值。

而$y^{(i)}$是实际观测到的响应值。理想情况下，如果模型是完美的，那么${ϵ}^{(i)}$将会是0，这意味着所有的观测值都完全位于由参数向量$\theta$定义的模型预测的线上。然而，实际情况是，数据会有一些随机性或者是由于模型无法捕捉的因素造成的变异，这就是为什么我们需要${ϵ}^{(i)}$来表示这些偏差。

在进行线性回归分析时，我们的目标是找到最佳的参数向量$\theta$，使得误差项的平方和最小，这也就是最小二乘法的原理。通过这种方式，模型能够尽可能准确地拟合训练数据，同时也能够对新的未见过的数据进行有效的预测。