吴恩达机器学习 线性回归代价函数推导

多元线性回归的代价函数推导

决策函数：

$h_{\theta }(x)={\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n={\sum }_{i=1}^n{\theta }_i{x}_i={\theta }^{T}x$

令有m个样本，对于每个样本：

$y^{(i)}=h_{\theta }(x^{(i)})+{ϵ}^{(i)}$…(1)

${ϵ}^{(i)}$表示真实值与预测值之间的误差,我们通常认为${ϵ}^{(i)}$是独立并具有相同的分布，并且服从均值为0方差为${\theta }^2$的高斯分布。

于是：

$p({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{({ϵ}^{(i)}{)}^2}{2{\sigma }^2})$…(2)

将(1)代入(2)可得：

$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$

故似然函数为：

$L(\theta )={\prod }_{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$

为方便求导变为对数似然：

$lnL(\theta )=ln{\sum }_{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$

​ $=m.ln\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}.\frac{1}{2}{\sum }_{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$

此时我们需要求得参数$\hat{\theta }$ 使似然函数$L(\theta )$最大：

$J(\theta )=\frac{1}{2}{\sum }_{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$（最小二乘法）

由化简后的式子可知，上式越小，似然函数越大

在吴恩达的课程中将代价函数写为：

$J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$

方便计算