【机器学习概率统计】10 经典统计推断：寻找最大似然

从这一节开始，我们来介绍统计推断的具体方法。

1.统计推断的两大学派

在统计领域，有两种对立的思想学派：贝叶斯学派和经典学派（也称频率学派），他们之间最重要的区别就是如何看待被估计的未知参数。贝叶斯学派的观点是将其看成是已知分布的随机变量，而经典学派的观点是将其看成未知的待估计的常量。

1.1.贝叶斯统计推断

具体来说，贝叶斯推断方法是将未知参数看做是一个随机变量，他具备某种先验分布。在已知观测数据 x x x的基础上，可以利用贝叶斯公式来推导后验概率分布 p Θ ∣ X ( θ ∣ x ) p_{\Theta|X}(\theta|x) pΘ∣X​(θ∣x)，这样就同时包含人的先验知识以及观测值 x x x所能提供的关于 θ \theta θ的新信息。贝叶斯统计推断的内容，我们这一讲里不展开，下一讲会详细介绍。

1.2.经典统计推断

而经典统计方法是将未知参数 θ \theta θ看作是一个常数，但是他是未知的，那么，这就需要去估计他了。经典统计的目标就是提出参数 θ \theta θ的估计方法，并且保证其具有一定的性质。

1.3.一个例子

我们举个简单的例子，比如我们要通过一个物理试验来测量某个粒子的质量，从经典学派的观点来看，虽然粒子的质量未知，但他本质上是一个确定的常数，不能将其看成是一个随机变量。而贝叶斯学派则截然不同，会将待估计的粒子质量看做是一个随机变量，并利用人们对该粒子的已有的认知给他一个先验分布，按照分布的概率模型，使其集中在某个指定的范围中。

这一讲，我们重点介绍经典统计推断当中的极大似然估计法。为了给大家一个直观的感觉，这里我先来两个例子。

2.极大似然估计法的引例

第一个例子还是盒子摸球的例子。

有两个盒子，一号盒子里面有 100 100 100个球，其中 99 99 99个是白球， 1 1 1个是黑球；二号盒子里面也有 100 100 100个球，其中 99 99 99个是黑球， 1 1 1个是白球。

现在我告诉你，我从其中某一个盒子中随机摸出来一个球，这个球是白球，那么你说，我更有可能是从哪个盒子里摸出的这个球？

显然，你会说是一号盒子。道理很简单，因为一号盒子当中，摸出白球的概率是 0.99 0.99 0.99，而二号盒子摸出白球的概率是 0.01 0.01 0.01。显然更有可能是一号盒子了。

第二个例子也是大家熟悉的丢硬币的例子。

我有三个不均匀的硬币，其中第一个硬币抛出正面的概率是 2 5 \frac{2}{5} 52​，第二个硬币抛出正面的概率是 1 2 \frac{1}{2} 21​，第三个硬币抛出正面的概率是 3 5 \frac{3}{5} 53​，这时我取其中一个硬币，抛了 20 20 20次，其中正面向上的次数是 13 13 13次，请问我最有可能是拿的哪一个硬币？

思考的过程也很简单：

三枚硬币，抛掷 20 20 20次， 13 13 13次正面向上的概率分别是：

第一枚： C 20 13 ( 2 5 ) 13 ( 1 − 2 5 ) 20 − 13 = 0.014563052125736147 C_{20}^{13}(\frac{2}{5})^{13}(1-\frac{2}{5})^{20-13}=0.014563052125736147 C2013​(52​)13(1−52​)20−13=0.014563052125736147

第二枚： C 20 13 ( 1 2 ) 13 ( 1 − 1 2 ) 20 − 13 = 0.0739288330078125 C_{20}^{13}(\frac{1}{2})^{13}(1-\frac{1}{2})^{20-13}=0.0739288330078125 C2013​(21​)13(1−21​)20−13=0.0739288330078125

第三枚： C 20 13 ( 3 5 ) 13 ( 1 − 3 5 ) 20 − 13 = 0.1658822656197132 C_{20}^{13}(\frac{3}{5})^{13}(1-\frac{3}{5})^{20-13}=0.1658822656197132 C2013​(53​)13(1−53​)20−13=0.1658822656197132

代码片段：

from scipy.special import comb
import math

def get_possibility(n, head, p_head):
    return comb(n,head)*math.pow(p_head,head)*math.pow((1-p_head),(n-head))

print(get_possibility(20, 13, 2/5))
print(get_possibility(20, 13, 1/2))
print(get_possibility(20, 13, 3/5))

运行结果：

0.014563052125736147
0.0739288330078125
0.1658822656197132

第三枚硬币抛掷出这种结果的概率最大，我更有可能拿的第三枚硬币？这种直观的认识是正确的，这种思维方式的背后正是我们要介绍的极大似然估计法，他就是这么的简单粗暴而有效。

3.似然函数的由来

有了这个例子，下面我们开始介绍极大似然估计方法。我们重点要理解的是似然这个词，这个词听起来比较陌生。

我们首先看离散型的情形，随机变量 X X X的概率分布已知，但是这个分布的参数是未知的，需要我们去估计，我们把他记作是 θ \theta θ，好比上面抛掷硬币的试验中，