线性回归-5-代价函数

$还记的我们的代价函数吧：J=\frac{1}{2}\sum^m_{i=1}(y^{(i)}-\theta^Tx^{(i)})^2$

现在让我们来看看为什么选择它来作为代价函数。
假设我们的模型如下：

$$y^{(i)}=\theta^Tx^{(i)}+ \varepsilon^{(i)}$$
$其中\varepsilon^{(i)}是误差补偿值，根据中心极限定理可知，一般而言\varepsilon^{(i)}是满足高斯分布的，确切的说是正态分布，即\varepsilon^{(i)} \sim \mathcal N(0,\sigma^2)因此\varepsilon^{(i)}的概率密度为：$

$通过公式y^{(i)}=\theta^Tx^{(i)}+\varepsilon^{(i)}我们可以得知:$


$下面我们定义：L(\theta)=L(\theta;X,\vec y)=p(\vec y|X;\theta)，我们称L(\theta)为似然函数（likehood）。$

似然性表示了$y$在条件$X$和参数$\theta$作为前提时的概率。我们在训练时的目的是为了使的概率尽可能的大，也就是说我们想要尽可能最大化$L(\theta)$，即获得关于$\theta$ 的最大似然性（$maximum likelihood$）
这不就是求最大值吗！果断求导！
为了方便运算起见令:$\ell(\theta)=\log L(\theta)$，我们称$\ell(\theta)$为log likehood

因此为了最大化$\ell(\theta)$，等价于最小化$\frac{1}{2}\sum^m_{i=1}(y{(i)}-\theta^Tx{(i)})^2$。这就是我们的代价函数啦！