概率论初步

概率论还是挺有用的,记下来以后方便查阅.

读书笔记 - <概率论基础教程>:Sheldon M.Ross著,郑忠国等译

第一章 组合分析

多项式系数: 道理很简单, n个物体分成r组,每组分别是n1,n2...nr个. 一共的分法就是 C(n,n1) * C(n-n1,n2) ... *C(n-n1-n2.. , nr) = n! / (n1!n2!...nr!).

方程的整数个解: x1 + x2 + x3... + xr = n 一共有多少解?

可以用事例描述: n个相同的球放进r个不同的盒子, 或者r个不同的人,排队拿n个相同的礼物, 一共多少种方法?

推导过程是由简入难: n个相同的球分成r份,用xi表示每一份数量,先设xi>=1, 那么这个问题就简化很多了.一种解法是用r-1个分隔符把n个球分开,这个很容易算是C(n-1, r-1). 其代表的方程也就是x1 + x2 + x3... + xr = n, xi>=1.  

这时候再考虑xi >=0的方程,x1 + x2 + x3... + xr = n, xi>=0 中对每个xi 加1就是xi>=1的解. 令yi = xi+1, 那么原方程可化为 

x1+1 + x2+1 +... + xr+1 = n+r, xi>=0, 即 y1 + y2 +.. + yr = n+r ( yi>=1). 这个方程之前讨论过, 解数为C(n+r-1, r-1). 

简化真是一种通用的思想,在各种领域都很常用,这让我想到了线性方程组,微分,分类,回归,降维等等都是由简入难,值得学习.

第二章 概率论公理化

概念:

样本空间(sample space):所有可能的结果的集合.

事件(event):样本空间的任一子集.如果实验结果包含在E里,则E发生.

公理1: 0≤P(E)≤1

公理2: P(S)=1

公理3: 对任一系列互不相容的事件Ei (即i≠j => EiEj=∅), P(∪Ei) = ΣP(Ei).

 不要小看公理,因为几乎所有命题都由公理而来.比如补集Ec , P(Ec) = 1-P(E) 就可以由公理2和3推出. 容斥恒等式P(E∪F) = P(E) + P(F) - P(EF) 同样可以用公理三推出.

命题4: 再比如,假设样本空间里所有结果的可能性相同,那么可以用公理证明任一事件E发生的概率等于E包含的结果占总样本空间的比例: 由公理2,3可知每个结果的概率P(I) = 1/N, 再由公理3可知P(E) = E/N. 这样简单地证明了一个硬币抛无穷次正面朝上的概率是1/2.

有一个有趣的小例子:52张牌,洗牌之后顺序翻直到翻到第一张A.问下一张牌是黑桃A和梅花2的概率哪个大? 看起来应该是梅花2大,因为第一张A可能就是黑桃A. 但是还要考虑梅花2可能在第一张A之前就出现了.因为第一张出现梅花2或者A的概率都是1/5,而出现黑桃A的概率是1/4,那么还是梅花2的可能性大.还有什么没考虑到的?

答案是概率相同,进而第一张A后面出现任何牌的概率都相同而且是1/52.可以看做先把这张牌拿出来,剩下的51张进行洗牌,然后放在第一张A后面,根据命题4可得出结论.

另一个更有意义的例子: 某公司中有36个人会打牌, 24个人会打麻将, 18个人会下棋. 其中20个同时会打牌和打麻将,13个会打麻将和下棋,9个会下棋和打牌,4个全都会. 问这个公司至少会其中一种的人有多少? 

不要再单纯地计算了,这就是个容斥恒等式, P(A∪B∪C) = P(A) + P(B) + P(C) - P(AB) -P(BC) -Ｐ(AC) + P(ABC) .

这个例子很像某些面试题:N个人拍毕业照,都把帽子扔到空中,拍完之后每人随机捡一个帽子,没有人拿到自己帽子的概率是多少?

从上面那个例子可以得到启发,肯定是1-P(∪Ni),但是怎么计算呢?假设一个N维向量1234...N, 当第i位和i相等的时候表示第i个人拿到自己的帽子,那么至少有x个人拿到自己的帽子的排列数就是 (N-x)! , 也就是说P(∪Ni) = P(N1) - P(N2) + P(N3) ... , 其中P(N1) = C(N,1) * (N-1)! / N! = N * 1/N = 1; P(N2) = C(N,2) * (N-2)! / N! = 1/2! ... 当N足够大,1-P(∪Ni)就可以看做e^-1的展开式,所以N趋近无穷时,P=0.3678, 而不是1.

悖论:假设有一个坛子,有无限个小球,编号从1开始. 在12点差1/2分的时候放编号为1-10的小球进去,并取出编号为10的小球(忽略放,取球时间); 12点差1/4分的时候放编号为11-20的小球进去,并取出20号小球.... 这样当12点到的时候,坛子里共有多少小球?

答案很明显是无穷多.因为除了编号为10的倍数的小球,有无穷多个小球在里面.

假如不改变取出的个数,改变一下取出的编号,第一次放取编号1,第二次放取编号2... 最后有多少小球? 

答案是一个都没有. 因为编号为n的小球在第n次放的时候被取出来了.

假如再换一下,每次放之后随机取一个小球出来,最后有多少小球?

这个就只能用概率回答,坛子为空的概率趋近于1. 可以看第n次之后1号球仍在坛子中的概率: 9/10 * 18/19 * 27/28 ... 当n→∞, 这个概率趋近于0. 其他任一小球都是如此,所以坛子为空的概率趋于1.

虽然这样的悖论在生活中意义不大,但是对于科学研究来说还是挺重要的,涉及无穷的概念,自己对自己评价产生悖论. 不论哪种系统,一旦表达能力变强,则不可能完备(哥德尔不完备性定理).

而概率,用自然的解释就是,某种说法的确信程度.

第三章 条件概率和独立性

条件概率公式：P(E|F) = P(EF) / P(F)

有时候概率问题是一眼看不出来的，用正确公式则会变得相当简单。比如：小明参加一个考试，考试时间1小时。假设任意时间x<=1,小明完成考试的概率是x/2, 已知在三刻的时候小明未答完，问最后小明用光1小时的概率是多少。

现在回头看一下扔帽子问题，如果求恰好k个人拿到自己的帽子的概率是多少，要怎么做？

可以拆成两个事件：E：k个人拿到自己的帽子；G：其余N-k个人都没拿到自己的帽子。所以P(EG) = P(E)P(G|E)。这样就清晰了，P(E) = 1/N * 1/(N-1) ... = (N-k)! / N! ，P(G|E) 则可以利用之前的公式求得。

全概率公式：一个简化版本是，P(E) = P(E|F) * P(F) + P(E|~F) * P(~F)。其中~F表示非F事件。完整的全概率公式即把F和~F替换成一组互不相容且他们的和事件等于全集的事件集合。

由全概率公式和条件概率公式，很容易得到贝叶斯公式（逆概率公式）。

一个有意思的事情是：三张卡片，一张两面都是红色，一张两面都是黑色，一张一面红一面黑，随机取一张卡片，已知其一面红，问另一面黑的概率。

答案不是1/2。

另一个问题是：隔壁搬来一对夫妻，他们有两个孩子。有一天看到母亲带着一个女孩出来散步，问两个孩子都是女孩的概率是多少？

这是一个无解的问题，需要新的证据。（比如母亲喜欢带女孩散步的概率，或者母亲带大孩子出来散步的概率）

定义一个事件的优势：A的优势指P(A)/P(~A)

当发现新的证据E的时候，事件的优势变化： P(A|E)/P(A|~E) = P(A)*P(E|A)  /  P(~A)*P(E|~A)，也就是说当发现新证据，新证据是否支持事件可以由事件发生时新证据发生的概率和事件不发生时新证据发生的概率的比值看出来。

独立：在事件F的条件下，事件E发生的概率和没有F条件下E的概率相同，那么F和E独立。也就是F的发生与否不影响E。这时候P(EF) = P(E) * P(F)

比如，掷两枚均匀的骰子，事件F：两者点数之和为6，事件E：第一枚点数为4，这两个事件是不独立的。因为事件E会影响到F（如果E为6，则F不可能发生）。但是如果把F改成两者点数之和为7，则E,F相互独立。而如果是8，又不独立了。

多个事件相互独立的条件很苛刻，必须它们的任意子集都互相独立。

如果要比较两个互不相容的事件在一系列独立实验中先出现的概率，可以拿他们单独出现的概率计算。比如E和F，E在F之前出现的概率是P(E)/(P(E) + P(F).用一个例子来说，不断重复两个骰子同时投，和为5比和为7先出现的概率就是2/5.

帕斯卡和费马的点数问题求解办法：

A和B赌博，每次单独赌，A胜的概率是p。假如A先赢n局则A最终获胜，B先赢m局则B最终获胜，问A最终获胜的概率。

可以自己想一想。

帕斯卡的解法是递归。

费马的解法是：m+n-1局中获胜的概率。

 

假设r个赌徒，相互之间比赛胜率都是50%，分别有ni（i=1，2…r）的资产，每次从r个赌徒中随机抽取两个人比赛，获胜者从失败者那里取走1的资产，直到只剩1人。求最终各人获胜概率。

很明显是ni / Σni ,重要的是思路：假设n个人每人只有1的资产，这么比赛，最终每个人的概率都是1/n. 那么把他们分成r组, 每组的概率不就是每组的人数么。

赌博破产问题（伯努利解决的）：A和B初始金钱分别是a，b，他们决定抛硬币赌博，正面朝上则B给A1块钱，反面朝上则A给B1块钱。如果正面朝上的概率是p，A最后赢得所有钱的概率是？

这个也可以递归分析，但结果很令人惊讶。他们最终总会有一个人赢得所有钱，而且和p的大小关系非常大。如果p=1/2，那么获胜概率和a，b的比值有关；否则，P(A) =  （1 - （1-p/p）^a）/（1-（1-p/p）^(a+b) ）。