机器学习算法 之 线性回归（linear regreesion）

linear regreesion（线性回归）

我们将用来描述回归问题的标记如下:

$m$ 代表训练集中实例的数量

$n$ 代表特征的数量

$x^{(i)}$ 表示第$i$个训练实例，是特征矩阵的第i行，是一个向量

$x_j^{(i)}$ 表示特征矩阵中第$i$行的第$j$个特征，也就是第$i$个训练实例的第$j$个特征

$y$ 代表目标变量，也就是输出变量

$(x,y)$ 代表训练集中的一个实例

$(x^{(i)},y^{(i)})$ 代表第$i$个观察实例

$h$ 代表学习算法的函数，或者加假设（hypothesis）

对于多变量线性回归，假设函数可以设为

$$h_{\theta}(x) = \theta_0+\theta_1x_1 + \theta_2x_2 +...+\theta_nx_n$$
为了使公式能够简化，引入 $x_0=1$,则假设函数变为 $$h_{\theta}(x) = \theta_0x_0+\theta_1x_1 + \theta_2x_2 +...+\theta_nx_n$$ ,进行向量化后，最终结果为 $$h_{\theta}(x) = \theta^TX$$

我们需要求出$\theta$,使得对于每一个样本，带入到假设函数中，能得到对应的一个预测值，而我们的目标，是使求出的预测值尽可能的接近真实值

通过最大似然估计来推导目标函数

由于我们实际预测的值和真实值之间肯定会有误差，对于每个样本:

$$y^{(i)} = \theta^Tx^{(i)} + \varepsilon^{(i)}$$ 其中， $y^{(i)}$为当前样本实际真实值， $\theta^Tx^{(i)}$为预测结果， $\varepsilon^{(i)}$即为预测误差

对于整个数据集来说，则：

$$Y = \theta^TX + \varepsilon$$

误差$\varepsilon^{(i)}$ 是独立的并且具有相同的分布，并且服从均值为0，方差为$\theta^2$的正态分布

由于误差服从正态分布，所以：

p(ε(i))=12π−−√σexp⟮−(ε(i))