极大似然估计和贝叶斯估计

• 最大似然估计

• 最大似然估计：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加总。此时通过对参数求导数，并令一阶导数为零，就可以通过解方程（组），得到最大似然估计值。
  
  使用情况：模型已定，参数未知 
  f(x1,x2,...,xn|Θ)  
  假设所有采样独立同分布，f为模型， θ 为模型参数 
  定义似然函数： 
  L(Θ|x1,x2,...,xn)=f(x1,x2,...,xn|Θ)  
  使函数值最大化（对 Θ 取一阶导数）的 Θ 值就是  Θ 的最大似然估计 
  求法： 
  因为独立同分布 
  L(Θ|x1,x2,...,xn)=f(x1,x2,...,xn|Θ)=∏ni=1f(xi|Θ)  
  两边取对数(因为对数函数是单调增函数，与L有相同的最大值点，而求ln的值相对简单些^[1]) 
  lnL(Θ|x1,x2,...,xn)=∑ni=1lnf(xi|Θ)  
  对参数 Θ 求导，令一阶导数为零，就得出最大似然估计值 
  Θmle=argmax1nlnL  

• 贝叶斯估计 

• 

假设 Θ 存在一个先验分布g 
那么 Θ 的后验分布为 
Θ=f(x|θ)g(θ)∫Θf(x|θ)g(θ)dθ  
最大后验概率估计 即为 后验概率分布的众数 
ΘMAP(x)=argmaxθf(x|θ)g(θ)  
可以看做正则化的最大似然估计，当g是常数时两者等价

极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为，参数是客观存在的，只是未知而矣。相反的，贝叶斯派认为参数也是随机的，和一般随机变量没有本质区别，正是因为参数不能固定，当给定一个输入x后，我们不能用一个确定的y表示输出结果，必须用一个概率的方式表达出来，所以贝叶斯学派的预测值是一个期望值。最大后验概率和极大似然估计很像，只是多了一项先验分布，它体现了贝叶斯认为参数也是随机变量的观点，在实际运算中通常通过超参数给出先验分布。