从这一节开始,我们来介绍统计推断的具体方法。
1.统计推断的两大学派
在统计领域,有两种对立的思想学派:贝叶斯学派和经典学派(也称频率学派),他们之间最重要的区别就是如何看待被估计的未知参数。贝叶斯学派的观点是将其看成是已知分布的随机变量,而经典学派的观点是将其看成未知的待估计的常量。
1.1.贝叶斯统计推断
具体来说,贝叶斯推断方法是将未知参数看做是一个随机变量,他具备某种先验分布。在已知观测数据 x x x的基础上,可以利用贝叶斯公式来推导后验概率分布 p Θ ∣ X ( θ ∣ x ) p_{\Theta|X}(\theta|x) pΘ∣X(θ∣x),这样就同时包含人的先验知识以及观测值 x x x所能提供的关于 θ \theta θ的新信息。贝叶斯统计推断的内容,我们这一讲里不展开,下一讲会详细介绍。
1.2.经典统计推断
而经典统计方法是将未知参数 θ \theta θ看作是一个常数,但是他是未知的,那么,这就需要去估计他了。经典统计的目标就是提出参数 θ \theta θ的估计方法,并且保证其具有一定的性质。
1.3.一个例子
我们举个简单的例子,比如我们要通过一个物理试验来测量某个粒子的质量,从经典学派的观点来看,虽然粒子的质量未知,但他本质上是一个确定的常数,不能将其看成是一个随机变量。而贝叶斯学派则截然不同,会将待估计的粒子质量看做是一个随机变量,并利用人们对该粒子的已有的认知给他一个先验分布,按照分布的概率模型,使其集中在某个指定的范围中。
这一讲,我们重点介绍经典统计推断当中的极大似然估计法。为了给大家一个直观的感觉,这里我先来两个例子。
2.极大似然估计法的引例
第一个例子还是盒子摸球的例子。
有两个盒子,一号盒子里面有 100 100 100个球,其中 99 99 99个是白球, 1 1 1个是黑球;二号盒子里面也有 100 100 100个球,其中 99 99 99个是黑球, 1 1 1个是白球。
现在我告诉你,我从其中某一个盒子中随机摸出来一个球,这个球是白球,那么你说,我更有可能是从哪个盒子里摸出的这个球?
显然,你会说是一号盒子。道理很简单,因为一号盒子当中,摸出白球的概率是 0.99 0.99 0.99,而二号盒子摸出白球的概率是 0.01 0.01 0.01。显然更有可能是一号盒子了。
第二个例子也是大家熟悉的丢硬币的例子。
我有三个不均匀的硬币,其中第一个硬币抛出正面的概率是 2 5 \frac{2}{5} 52,第二个硬币抛出正面的概率是 1 2 \frac{1}{2} 21,第三个硬币抛出正面的概率是 3 5 \frac{3}{5} 53,这时我取其中一个硬币,抛了 20 20 20次,其中正面向上的次数是 13 13 13次,请问我最有可能是拿的哪一个硬币?
思考的过程也很简单:
三枚硬币,抛掷 20 20 20次, 13 13 13次正面向上的概率分别是:
第一枚: C 20 13 ( 2 5 ) 13 ( 1 − 2 5 ) 20 − 13 = 0.014563052125736147 C_{20}^{13}(\frac{2}{5})^{13}(1-\frac{2}{5})^{20-13}=0.014563052125736147 C2013(52)13(1−52)20−13=0.014563052125736147
第二枚: C 20 13 ( 1 2 ) 13 ( 1 − 1 2 ) 20 − 13 = 0.0739288330078125 C_{20}^{13}(\frac{1}{2})^{13}(1-\frac{1}{2})^{20-13}=0.0739288330078125 C2013(21)13(1−21)20−13=0.0739288330078125
第三枚: C 20 13 ( 3 5 ) 13 ( 1 − 3 5 ) 20 − 13 = 0.1658822656197132 C_{20}^{13}(\frac{3}{5})^{13}(1-\frac{3}{5})^{20-13}=0.1658822656197132 C2013(53)13(1−53)20−13=0.1658822656197132
代码片段:
from scipy.special import comb
import math
def get_possibility(n, head, p_head):
return comb(n,head)*math.pow(p_head,head)*math.pow((1-p_head),(n-head))
print(get_possibility(20, 13, 2/5))
print(get_possibility(20, 13, 1/2))
print(get_possibility(20, 13, 3/5))
运行结果:
0.014563052125736147
0.0739288330078125
0.1658822656197132
第三枚硬币抛掷出这种结果的概率最大,我更有可能拿的第三枚硬币?这种直观的认识是正确的,这种思维方式的背后正是我们要介绍的极大似然估计法,他就是这么的简单粗暴而有效。
3.似然函数的由来
有了这个例子,下面我们开始介绍极大似然估计方法。我们重点要理解的是似然这个词,这个词听起来比较陌生。
我们首先看离散型的情形,随机变量 X X X的概率分布已知,但是这个分布的参数是未知的,需要我们去估计,我们把他记作是 θ \theta θ,好比上面抛掷硬币的试验中,