机器学习之线性回归及代码示例

一、线性回归

线性回归一般用来做连续值的预测，预测的结果为一个连续值。因训练时学习样本不仅要提供学习的特征向量X，而且还要提供样本的实际结果（标记label），所以它是一种有监督学习。其中 $X= \{ x_0 ,x_1 ,..., x_n \}$。

线性回归需要学习得到的是一个映射关系 $f：X → y$，即当给定新的待预测样本时，我们可以通过这个映射关系得到一个测试样本 $X$ 的预测值 $y$ 。

在线性回归中，假定输入X和输出y之间具有线性相关的关系。
例如当特征向量 $X$ 中只有一个特征时，需要学习到的函数应该是一个一元线性函数 $y = a+bx$。

当情况复杂时，考虑 $X$ 存在n个特征的情形下，我们往往需要得到更多地系数。我们将 $X$ 到 $y$ 的映射函数记作函数$h_\theta(X)$：

$$h_\theta(X) = \sum_{i=0}^n \theta_ix_i = \theta^{T}X$$

其中，为了在映射函数hΘ(X)中保留常数项，令 $x_0$ 为1，所以特征向量$X = \{ 1,x_1,x_2,...,x_n \}$，特征系数向量 $\theta = \{ \theta_0,\theta _1,\theta_2,...,\theta_n \}$ 。

当给定一个训练集数据的情况，可以通过某个算法，学习出来一个线性的映射函数 $h_\theta(X)$ 来求得预测值 $y$。

二、损失函数

在需要通过学习得到的映射函数 $h_\theta(X)$ 中，需要通过训练集得到特征系数向量 $\theta = \{ \theta_0,\theta _1,\theta_2,...,\theta_n \}$ 。

那怎么得到所需的特征系数向量？怎么保证得到的特征系数向量是足够好？这里会有一个评判标准：损失函数。

根据特征向量系数 $\theta$，可有损失函数 $J(\theta)$ 如下 :

$$J(\theta) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(X^{(i)})-y^{(i)})^{2}$$

其中 $h_\theta(X)$ 为需要学习到的函数，$m$ 为训练集样本的个数，$X_i$ 表示训练集中第 $i$ 个样本的特征向量，$y_i$ 表示第 $i$ 个样本中的标签。

为了得到预测值 $h_\theta(X_i)$ 和 $y_i$ 的绝对值，在公式上使用了平方数。为了平均每个样本的损失，在公式上对损失和进行除以 $m$ 操作，，再除以 $2$ 是为了之后的求导计算。

三、梯度下降算法求解

批量随机梯度下降BGD

在上面，找到了一个特征系数向量 $\theta$ 好坏的损失函数 $J(\theta)$。为了迎合这样的评判标准得到较好的