黑盒中有三个小球,只有黑、白两种颜色,即服从伯努利分布,但是有几个黑球有几个白球未知,即参数未知。
现进行3次抽样实验,每次抽样时取出小球记录颜色然后放回。设取出何求黑球的概率为p,则取出白球的概率为1-p (p未知)。抽样结果是一次黑球两次白球。
从概率论思维出发,每次抽样的概率密度如下(由伯努利分布得出),其中表示抽样结果为黑球
表示抽样结果为白球
现提出疑问:什么情况下最有可能出现一次黑球两次白球的实验结果?
以上疑问为文字表述,需要用数学表达式对该疑问进行数学描述。由抽样的过程可知,该实验结果服从独立分布,出现1黑球2白球的概率可以用以下公式描述
再回到疑问:什么情况下最有可能出现一次黑球两次白球的实验结果?
明显值最大时最有可能出现1黑2白的结果(这里涉及到概率思维到统计思维的的转换,需要深刻理解)
提出另一个疑问:什么情况下值最大?
该疑问显然是一个三次方程求最大值的问题,很容易得出时,值最大。即p=1/3时,该实验最有可能出现一次黑球两次白球的实验结果。
同理可以得出当p=2/3时,该实验最有可能出现2次黑球1次白球的实验结果。
实验结果 | 推论 |
1黑球2白球 | p=1/3 |
2黑球1白球 | p=2/3 |
以上利用独立分布的概率积的最大值表示最大可能出现某种实验的结果,当未知的分布参数值满足概率积值最大时,即说明该参数为该值时,特定实验结果最有可能;反向思考,在特定实验结果下,可以推出未知参数最有可能为某一值。以上思路可以归纳为在已知分布的情况下由实验结果反推分布参数,最大似然估计基本思路就是如此。
回到上文所描述的实验,可以看到该实验较为简单,解概率积为最大值时的参数值比较容易,但是当抽样次数比较多或者分布的公式较复杂时,L(p)为可能阶次较高,不好求解,所以采用对数转换:
转换后,求解结果与未转换的结果一致,但是求解过程较为简单(该步骤教科书上说的比较详细,在此不再赘述)。