【让AI飞】概率论与数理统计

概率论关注的是客观世界中无处不在的可能性，并且对这种可能性进行规范的数学描述。

概率论，概率论，核心就是概率, 而对概率从不同侧面的解读，也构成了概率论的两大学派 – 频率学派(frequentist probability) 和 贝叶斯学派(Baysien probability)。下面依次介绍之：

我们接触概率的概念，最早都是从抛硬币开始的。比如抛 10 次硬币，统计正面朝上的次数，可能是 0 次，也可能是 10 次，那对应的频率就是 $0\%$ 和 $100\%$ 。我们知道当重复很多次，10万次，1亿次的时候，这个频率会逐渐逼近一个稳定值，$50\%$. 这个极限频率就被认为是抛硬币正面朝上这个事件的概率。这就是我们最早接触的频率学派眼中的概率

概率，就是一个可独立重复的随机试验中单个结果出现的频率的极限。

概率是一个客观存在的稳定的值。

但是，频率学派眼中的概率有个“死穴”：必须基于多次独立重复试验，否则没办法计算频率，而且次数越多越好，否则没办法取频率的极限。但是，在现实生活中，很多事情只发生一次，或者我们只关注一次，那么这时候频率学派就解释不通，提供不了理论指导了。

比如，天气预报说明天的降雨概率是 $20\%$，这个概率就是频率学派无法解释的，因为明天只有一次，不可能拿出5个明天，统计一下发现一般只有1 个明天会下雨。比如说，赌博，我关注的就是我下一把怎么下注赢面最大。我打心眼里不相信频率学派那一套，牌有多少种组合，可能出现的情况如何公平，这是赌场老板的宣传，我相信他肯定捣了鬼，但是我不知道他具体怎么捣的鬼，但是我还要在这种情况下去下注并且还要赢钱。那怎么办？这种基于赌博的思考，催生了贝叶斯学派，在贝叶斯学派眼中

概率，描述的是随机事件的可信程度（degree of belief）。

概率是一个很主观的量。

由此，我们可以发现，频率学派就像一个老学究，博古通今，心中有一套完备的教条理论来解释这个世界，然而现实中真实发生的事件总是和他心中的模型有出入的，于是顺风时他羽扇纶巾，一切都在老夫的掌握之中，逆风时便会感叹世风不正，人心不古；而贝叶斯学派更像一个赌徒，关注当下，信则有，不信则无，依着自己的直觉下赌注，有时候连赢数把便感叹自己聪明绝顶神仙下凡，输个底掉，便慨叹天有不测风云。

但其实呢？

人有悲欢离合，月有阴晴圆缺。变化和不确定性，才是这个世界唯一不变且确定的事情。

频率学派和贝叶斯学派在数学推导上的交合

从频率学派开始，在古典概率模型中，试验的结果只包含有限个基本事件，且每个基本事件发生的可能性相同。如此一来，假设所有的基本事件一共发生了 $n$ 次, 其中随机事件 $A$ 发生了 $k$ 次， 那么 事件 $A$ 的 概率计算公式就是:

$$P(A) = \frac kn$$ , 由此出发，继续推导。

上面的例子，针对的是单个随机事件，但是现实中很多事情都是有关联的，这会导致某次随机事件发生概率的变化，这就要引入条件概率。

条件概率（conditional probability） 是根据已有信息对样本空间进行调整后得到的心得概率分布。假定有两个随机事件 $A$ 和 $B$， 条件概率就是指事件 $A$ 在事件 $B$ 已经发生的条件下的概率，记做 $P(A\vert B)$ ，也有 联合概率（joint probability） 指的是 $A$ 和$B$ 两个事件共同发生的概率，记做 $P(AB)$。显然,

$$P(AB) = P(B)\cdot P(A \vert B)$$
, 从而得到 条件概率公式， $$P(A\vert B) = \frac{P(AB)}{P(B)}$$ 。有些情况下， $B$与 $A$互不影响，俗话说，“八竿子打不着，哪儿也不挨哪”，这时候我们就说事件 $A$ 和 事件 $B$ 相互独立.对于相互独立的事件，条件概率就是其自身概率，即 $P(A \vert B) = P(A)$, $P(B \vert A) = P(B)$，判定两个事件是否互相独立，就要看二者的概率是否满足 $$P(AB) = P(A) \cdot P(B)$$

. 基于条件概率可以得出全概率公式（law of total probability）, 其作用是将复杂事件的概率求解转化为在不同情况下发生的简单事件的概率求和，即

$$P(A) = \sum_{i=n}^N{P(A\vert B_i)\cdot P(B_i)}$$ $$\sum_{i=1}^N{P(B_i) = 1}$$ . 全概率公式代表了频率学派解决概率问题的思路，

• 在目标 $P(A)$ 很难直接求得的情况下，
• 采取 分而划之，逐个击破 策略
• 即先做一些假设 $P(B_i)$, 再再这些假设下讨论随机事件$A$的概率 $P(A\vert B_i)$
• 最后汇总各路信息，得到预期目标值 $P(A)$