最小二乘法简明推导过程

最小二乘法推导

最小二乘法公式

$$J(\theta )=\frac{1}{m}\sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}){)}^2$$

证明

1.假设

设数据中未被考虑进来的特征和人为无法控制的噪声为$\epsilon$。

即 $y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$

$\epsilon \sim \mathcal{N}(0,{\sigma }^2)$

且 ${\epsilon }^{(i)}isIID$ (独立同分布)。

简单的说就是${\epsilon }^{(i)}$ 之间互不影响，前一个的变化，不影响后一个的变化。

可得 $$P(y^{(i)}|x^{(i)};\theta )\sim \mathcal{N}({\theta }^T{x}^{(i)},{\sigma }^2)$$因为视这里的${\theta }^{}$