参数估计之最大似然估计法和贝叶斯估计法（点估计）

1.补充些gay率论知识：

        （1）随机变量的独立性和相关之间的关系

                简单的一句话就是  相关系数为0是两变量独立的必要非充分条件                

 统计学上的相关一般指线性相关，可以用相关系数这个指标来说明期相关程度

相关可以认为是一种映射，故可以分为线性映射和非线性映射

线性映射 ：设映射f是线性映射，即满足(1) f(a+b)=f(a)+f(b) (2) f(ca)=cf(a) 而在统计中存在随机扰动项e，即y=f(x)+e ，故相关性描述的是随机噪声的大小相关性越大随机干扰项越小

非线性映射 ：映射 对应的转化 可能对应多个值？？、

独立：就是不存在关系

不独立：f(x,y) = 0

相互独立的两个概率密度和其边缘概率密度存在以下关系

（2）贝叶斯推导

条件概率公式

        设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为：

                     P(A|B)=P(AB)/P(B)

若是两两不相容事件(互斥)则

B两两互斥则

再加一个P就成全概率公式了

从而推导出大名鼎鼎的贝叶斯公式

（3）无偏估计

a .估计量的无偏估计

b.最小方差无偏估计

2.最大似然估计

 由于样本集中的样本都是iid（独立同分布），可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：

其主要思想就是样本都已经出现了，所以他出现的概率是比其他未出现的随机变量概率要大的，故L的值应该取得最大，故建模成功，成为求最大值问题

实际中为了便于分析，定义对数似然函数

最大似然估计的求解： 必要条件是似然函数的梯度为0

若似然函数满足连续可导的条件，则最大似然估计量就是下面方程的解（必要条件）：

参数不止一个的情况下

梯度算子

则最大似然估计量的必要条件由S 个构成的方程组

求解注意事项

（1）如果似然函数连续可导，存在最大值，且上述必要条件方程组有唯一解，则其解就是最大似然估计量。

（2）如果必要条件有多解，则需从中求似然函数最大者

（3）若不满足连续可导，则无一般性方法，用其它方法求最大（如：均匀分布的情况）

求解过程

无法求解

例子参数 μ δ均未知的一元正态分布

解得

 

N -> ∞  被成为渐进无偏估计

最大似然估计总结

a.如果假设的类条件概率模型      正确，则通常能获得较好的结果。但果假设模型出现偏差，将导致非常差的估计

b.计结果收敛性：无偏或者渐近无偏

贝叶斯估计

主要思想：最大似然估计，矩估计看来未知参数θ就是一个未知数，我们不需要对其有了解，或者我们根本无法了解，其所有信息全部来源于样本。但是现实中，对于未知数θ我们可以通过过往的经验进行推测，也就是我们对θ是有一点了解的，而这θ就是我们所说的先验分布

通过以往经验我们可以画（大胆假设其服从的分布）出θ概率密度分布，进而求出其概率密度函数，假设为h（0），则

则成为后验密度函数，即在样本出现的情况下θ的密度函数，故求解的时候需要将上图的2.10带入即可求解。

注意 此时求出的来的不是还不是估计值，而只是未知数θ最新分布函数 

而估计值是θ分布的数学期望，再根据数学期望公式求解

所以其公式为

例子之一元正态分布的贝叶斯估计

正态分布情况：仅

可以看出当样本数量足够大时 估计量接近样本均值，而当先验信息足够准确时即δ²够小时，估计量在μ附近。先验知识十分不确定，完全依 靠样本信息

问：假设没有先验知识的时候 怎么办吗，贝叶斯提出“同等无知”，即假设服从均匀部分，反正那啥就算不准确，样本都多也足以，呵呵哒