极大似然估计与损失函数是如何分别求参数的

极大似然估计与损失函数是如何分别求参数的

 

极大似然估计

参数估计，即估计模型的参数：给定模型p(x|Ɵ)和数据D，选择与数据最匹配的参数Ɵ。

极大似然估计用大白话来说是找出一个合适的参数使得似然函数最大

似然函数是什么：

似然（likelihood，可能性的意思），描述的是事件发生可能性的大小。

似然函数的定义：

设数据D=X1,…,XN为独立同分布（IID），其概率密度函数（pdf）为p(x|Ɵ)，则似然函数定义为：

 

即为在给定数据D的情况下，参数为Ɵ的函数。

求极大似然估计的一般步骤

（1）选择模型

（2）得到密度函数p(x)

（3）求似然函数L = Ʃ log.p(x)

（4）对似然函数求极值&