最大似然估计法 通俗详解

1. 来源：
考虑一个问题： 盒子里面有球10个形状一样的球（10红球和0蓝球，但看不到），可以拿一个，看完颜色又放回去。拿了10次，每次都看到红球。你猜猜盒子里面有几个红球，几个蓝球？

• 例如盒子里面有10红球。

• 例如盒子里面有9红球，1个蓝球，我运气好，每次拿到的都是红球。

• 例如盒子里面有8红球，2个蓝球，我运气好，每次拿到的都是红球。

• 。。。

• 例如盒子里面有1红球，9个蓝球，我运气好，每次拿到的都是红球。

  到底有多少个红球那？？？如何建立数学模型？？？

2.思想
高斯（高斯是谁，不知道弄死你！）说，用最有可能的参数模型来算吧！
100年后，罗纳德·费希尔说，用最有可能的参数模型来算吧！
30年后，大家都说，用最有可能的参数模型来算吧！

3.算算看
事件A：拿了10次，每次都看到红球
事件B：几个红球.

-盒子里面有10红球： P(A/B)=100% (A 发生时，B的可能性）。
-盒子里面有9红球： P(A/B)=0.9^10 (A 发生时，B的可能性）。
-盒子里面有8红球： P(A/B)=0.8^10 (A 发生时，B的可能性）。。。。
-盒子里面有1红球： P(A/B)=0.1^10 (A 发生时，B的可能性）。

由于事件A一定发生了，所以为了满足A，找最大的那种可能。
所以 有10红球。

4.一般情况
事件A：观测
事件B: 模型参数
P(B|A)=P(A/B)*P(B)/P(A）（贝叶斯公式）

P(A)先验概率，常数可以不管。
P(B) 不好求，可以也认为是常数。
我们使得P(A/B)最大，可以使得P(B|A),即使在A的观测中使得B模型的概率最大。

对于离散型：
事件A: (x1,x2,…xn) 个观察数据。
他们相互独立。有 对于数据xi 的概率是 ：p(xi,θ)
L(x1,x2,…,xn;θ)=p(x1,θ)* p(x2,θ)*。。。p(xn,θ）
如下：

L(θ)为似然函数，使之最大，为最大似然估计法！