似然函数

似然函数：似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。当给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：$L(\theta |x)=P(X=x|\theta )$
在推断统计学中，“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

离散概率分布：
假定一个关于参数θ、具有离散型概率分布P的随机变量X，则在给定X的输出x时，参数θ的似然函数可表示为$L(\theta |x)=p_{\theta }(x)=P_{\theta }(X=x)$,其中，$p(x)$表示X取x时的概率,上式常常写为$P(X=x|\theta )$或者$P(X=x;\theta )$ , 需要注意的是，此处并非条件概率，因为θ不（总）是随机变量。

连续型概率分布
假定一个关于参数θ、具有连续概率密度函数f的随机变量X，则在给定X的输出x时，参数θ的似然函数可表示为:$L(\theta |x)=f_{\theta }(x)$,上式常常写为 ，同样需要注意的是，此处并非条件概率密度函数.

对数似然函数
在使用似然函数时，我们更常使用它的自然对数形式，即“对数似然函数”。这是因为在求解一个函数的极大化往往需要求解该函数的关于未知参数的偏导数。由于对数函数是单调递增的，而且对数似然函数在极大化求解时较为方便，所以对数似然函数常用在最大似然估计及相关领域中。

例如：求解Gamma分布中参数的最大似然估计问题，假定服从Gamma分布的随机变量 x x