概率密度函数和似然估计

在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。而随机变量的取值落在某个区域之内的概率则为概率密度函数在这个区域上的积分。当概率密度函数存在的时候，累积分布函数是概率密度函数的积分。概率密度函数一般以小写标记

概率密度函数的定义：

对于一维实随机变量 X，设它的 累积分布函数是

   

,如果存在可测函数

   

满足：

   

,那么 X是一个连续型随机变量，并且

   

是它的概率密度函数。

连续型随机变量的概率密度函数有如下性质：

如果概率密度函数 fX( x)在一点 x上连续，那么累积分布函数可导，并且它的 导数：

 

由于随机变量 X的取值 只取决于概率密度函数的积分，所以概率密度函数在个别点上的取值并不会影响随机变量的表现。更准确来说，如果一个函数和 X的概率密度函数取值不同的点只有有限个、可数无限个或者相对于整个 实数轴来说测度为0（是一个零测集），那么这个函数也可以是X的概率密度函数。

连续型的随机变量取值在任意一点的概率都是0。作为推论，连续型 随机变量在 区间上取值的概率与这个区间是开区间还是 闭区间无关。要注意的是，概率P{x=a}=0，但{X=a}并不是不可能事件

最大似然估计：

说的通俗一点啊，最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值(模型已知，参数未知）。

基本思想

当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。

似然函数

对数似然函数

 当样本为独立同分布时，似然函数可简写为L(α)=Πp(xi;α)，牵涉到乘法不好往下处理，于是对其取对数研究，得到对数似然函数l(α)=ln L(α)=Σln p(xi;α) 

求解极大似然

同样使用多元函数求极值的方法。

例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法： 我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：

P(黑=8)=p^8*（1-p）^2,

现在我想要得出p是多少啊，很简单，使得P(黑=8)最大的p就是我要求的结果，接下来求导的的过程就是求极值的过程啦。

可能你会有疑问，为什么要ln一下呢，这是因为ln把乘法变成加法了，且不会改变极值的位置（单调性保持一致嘛）这样求导会方便很多~

同样，这样一道题：设总体X 的概率密度为
已知： X1,X2..Xn是样本观测值，

求：θ的极大似然估计
这也一样啊，要得到 X1,X2..Xn这样一组样本观测值的概率是

P{x1=X1,x2=X2,...xn=Xn}= f(X1,θ)f(X2,θ)…f(Xn,θ) 

然后我们就求使得P最大的θ就好啦，一样是求极值的过程，不再赘述