线性回归概率解释(Linear Regression)

模型

监督学习：given a training set, to learn a function h : X $\to$ Y so that h(x) is a“good” predictor for the corresponding value of y.

对于线性回归,我们假设可以通过一条直线拟合样本，从而预测y。所以我们假设：

$$h_\theta(x) = \sum_{i=0}^n\theta_i x_i = \theta^Tx$$
那么 cost function 为： $$j(\theta) = \frac12\sum_{i=1}^m(h_\theta(x^{(i)})-y{(i)})^2$$

，也就是最小二乘法(LMS)。为了最小化$j(\theta)$，我们可以采用批梯度下降法(BGD)、随机梯度下降法(SGD)或者用normal equation直接求$\theta$。

接下来从概率的角度来讨论为什么cost function要采用LMS?

Probabilistic interpretation

1. 我们把输入y看成是随机变量。此时， $$y^{(i)}=\theta^Tx^{(i)}+\epsilon^{(i)}.$$
   $\epsilon$可以代表各种误差，比如测量误差，或者因为其他未知的特征x引起的误差。假设这些误差都是独立同分布的，那么由大数定律可知$\epsilon^{(i)}\sim\mathcal{N}(0,\sigma^2)$，
   $$p(\epsilon^{(i)})={1\over \sqrt{2\pi}}exp(-{{(\epsilon^{(i)})^2}\over{2\sigma^2}}).$$
   所以可以得$y^{(i)}|x^{(i)};\theta\sim\mathcal{N}(\theta^Tx^{(i)},\sigma^2)$，
   $$p(y^{(i)}|x^{(i)};\theta)={1\over \sqrt{2\pi}}exp(-{{(y^{(i)}-\theta^Tx^{(i)})^2}\over{2\sigma^2}}).$$
   注意，这里 p(y(i)|x