那些参数估计法

本文内容

写在前面：参数估计是一种统计推断。在统计学的世界中，自古以来一直存在着两种分布：一种存在于现实世界中，比如我们可以把一枚硬币扔上一万次，然后算一下几次正面几次反面，这是样本的分布；另一种只存在于科学家深深的脑海里，在一种名为参数的神秘力量的操控下，服从一种超自然的规律，那便是理论分布。样本分布是理论分布在现实世界的影子，同样是扔一枚质地均匀的硬币，如果你在科学家的脑海里扔的话，正面和反面出现的机会将会是绝对的1：1。而回到现实中，我们想要得到同样的结果，就需要重复无穷多次，才能展示出那个理论上存在的本体。因为一个伟大的先知--大数定理君--曾经说过：只有将一个实验重复无数次，每次实验的小误差之间才会互相抵消，你算出的样本平均值才会等于理论上的平均值（期望）。所以通常，我们只能根据有限的样本，尽量猜测一下那个传说中的参数大概是多少，这个猜测的方法就是参数估计。常用的参数估计的方法有矩估计、最小二乘估计、最大似然估计等。

本期内容主要讲解最大似然估计和最小二乘法这两种最常见的估计法，顺便聊聊最大似然估计和交叉熵的私人关系。

最大似然估计

最大似然估计其实是我们日常生活中非常常用的一种思考模式。通俗的说，就是我们会根据看到的事情去推测没看到的事情。

第一个栗子：

例如，妈妈回到家，看到下面的情形：

1. 小明的暑假作业一个字都没写

2. 伸手一摸，电脑主机箱热气腾腾

3. 转头一看，墙角的小明正瑟瑟发抖。

那么根据以上描述，你如果是小明的母上大人，你会不会一边撸袖子，一边去厨房找笤帚疙瘩了呢？

没错，我们总是喜欢将看到事实当做推理的基本条件，根据以往的经验，去寻找一个最有可能的解释。

不仅小明明的妈妈如此，看到正在跟闺蜜一起逛街的男朋友的你也会是如此，这就是所谓的最大似然估计思想啦。

第二个栗子：

我们再举一个对文科生不太友好的简单例子：

如上图所示，有两个外形完全相同的箱子，甲箱中有99个白球，1个黑球；乙箱中有99个黑球，一个白球。一次试验取出一球，结果取出的是黑球。

问：黑球是来自于哪个箱子？

几乎所有人都会说：当然来自乙箱的概率最大咯，所以我猜它是从乙箱中抽出来的。

说到这，你应该对最大似然估计的数学意义有了一个大概的认识了吧！没错，最大似然估计就是利用已知的样本结果（抽到了黑球），反推最有可能导致这样结果的参数（哪一个箱子）。

下面我们再从稍微偏数学的角度解释一下最大似然估计：

 第三个栗子：

我们在街头遇到一个以抛硬币赌博为生的流浪汉，如果硬币正面朝上他赢，反之，客户赢。他自称他的硬币绝对公平，大家赢的概率完全相同。每局游戏抛10次硬币，谁赢的次数多，就可以拿走所有的钱。（又是一局十次定输赢，有没有想起了被罚不能玩游戏的王者小明？那么作为王者的你，知不知道为什么每局总要玩十次呢？）

接下来的一局游戏中，硬币6次正面朝上，4次反面朝上。流浪汉赢了！

那么就这一局游戏而言，我们来看看硬币是否公平。我们已知，硬币的结果分布一定符合二项分布，我们把硬币朝上的概率作为参数θ，若这是一枚公平的硬币，那么θ=0.5 。我们来计算一下这局游戏恰好出现“6上4下”这样的结果的概率：

如果流浪汉的硬币真的正反均匀，只有21%的概率会得到这个结果。于是我们自然会有一个大胆的想法：这个小哥为了赚钱，对硬币动了手脚，硬币正面朝上的概率大于0.5（简直废话。。。不然他怎么可能赚钱啊，非饿死不可）！于是这次，我们根据观察到的样本分布，假设参数θ=0.6，我们再来计算一下这次游戏结果发生的概率: