损失函数J的由来-似然-likelihood

       似然率，这是什么呢，如果不太深入理解似然性的，会说似然性就是概率啊。似然率和概率很相似，在统计学中，却有明确区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。在维基百科中对似然函数的解释的非常的好，还有一个直观的投硬币的例子，朋友们可以搜搜，这里不多解释了。

       假设：

 

        是误差，服从高斯分布，，为什么服从高斯分布？I don't know。合理的说法是，独立随机变量之和趋向于服从高斯分布。误差就是由于许多不确定独立效应决定的。

那么 高斯分布的概率密度函数为：

，也就是：

       是同分布相互独立的。那么引出了似然性：

使得似然函数最大化，

那么变换，使 ，则使最大化

那么只要求：

  最小化，这其实转化为了求损失函数的最小值问题。和之前回归函数求损失函数一样了。这也解释了似然率其实是根据观测结果对参数进行估计。