损失函数的推导

似然函数推导损失函数

之前在机器学习算法的学习中一直疑惑，为什么cost function通常都为

$J(\theta) = \frac{1}{2}(y-h_\theta(x))^2$
起初认为是绝对值不好计算因而换成平方项，但是这个 $\frac{1}{2}$解释不通（虽然它并不影响），而且为什么不是其余偶数次项，于是很好奇这个是怎么来的。
后面听了吴恩达老师的课，也算是解答了一些疑惑。

---

我们设模型为$h_\theta(x)$,有以下假设：

1. $y = h_\theta(x) + \epsilon$
2. $\epsilon^{(i)}$ ~ $N(0,\delta^2)$,$\epsilon^{(i)}$独立同分布

即y由模型拟合以及随机扰动构成，而由中心极限定理，我们假设随机扰动$\epsilon$服从均值为0方差为$\delta^2$的正态分布。
移项可得：

$y - h_\theta(x) = \epsilon$
由正态分布密度函数，对于某一样本点 $y^{(i)}$, $x^{(i)}$,有：
P(y(i)|x