线性回归（最小二乘法）

线性回归（最小二乘法）

定义：线性回归在假设特证满足线性关系，根据给定的训练数据训练一个模型，并用此模型进行预测。

举例：我们假设一个线性方程 $y=2x+1$, x变量为商品的大小，$y$代表为销售量；当月份$x =5$时，我们就能根据线性模型预测出 销量为$y =11$；对于上面的简单的例子来说，我们可以粗略把 $y=2x+1$看到回归的模型

然而更一般的情况是，$x$不止一个，也就是说特征不会只有一个，而是许多个，可以吧￥x￥看做向量，$x =(x^1,x^2,\ldots,x^n)$

这仍然是一个线性的关系 $y=w^1x^1+w^1x^1+\cdots+w^nx^n$，写成向量形式就是$y=w^Tx+b$，其中，$w$和$x$都是向量。

我们有许多样本，已知每个样本的特征和label 。问给出一个新的样本，已知特征，预测label。

我们需要从这些已知的数据中学习到线性模型的权重就是向量$w=(w^1,\ldots,w^n)$和$b$。

模型推导过程：

形式化表示就是   

$$\begin{align} h_{\theta}(x)&=\theta_0+\theta_1x_1+\theta_2x_2\\ h_{\theta}(x)&=\sum_{i=0}^n \theta_ix_i=\theta^Tx \end{align}$$

模型假定好后，我们把训练数据代入上面的设定模型中，可以通过模型预测一个样本最终值；