机器学习之概率论与数理统计基础知识-(1)马尔可夫和贝叶斯

该博客是根据百度贴吧利_刃网友的内容进行整理的，原出处请点击此处！

1.1 概率(Probability)

概率又称可能性、或然率、机率、几率，是一个0到1之间的实数，描述随机事件发生的可能性。
事件A的概率，记作：P(A)。
当我们遇到纠结的问题而进退两难时，常常采用抛硬币的方式决定对错。那么硬币正面朝上的概率是多少？
概率公式：

$$P(A)=\frac{n}{m}$$
读作：事件A的概率 = A发生的次数n / m次试验

现实生活中，我们常常通过反复进行多次试验来总结经验。假如在100次抛硬币试验中，有52次是正面朝上，那么根据公式，正面朝上的概率是P(硬币正面朝上) = 52次正面朝上/100次试验 = 52%。试验的次数越多，这个概率数值将越接近50%。

古典概率：古典概率对前面的概率公式做出了另一种解释，P(A)=n/m，其中n代表A所包含的样本点个数，m代表样本点总数(参看后面的“样本空间”)。对于硬币来说，m=2 代表抛硬币总共会有正反两种可能；n=1 代表正面朝上的这一种可能；因此，P(硬币正面朝上) = 1/2。

[注] 概率依其计算方法的不同，可分为古典概率、试验概率和主观概率。

1.2 联合概率(Joint Probability)

联合概率代表多个事件同时发生的概率，用乘法来计算。
记作：P(A,B)、P(A&B) 或 P(A∩B)，读做：A并且B，即A又B，A和B的交集，A and B。
联合概率的乘法公式：

$$P(A,B)=P(A∩B)=P(A)\times P(B)$$ 读作：既A又B的概率 = A的概率*B的概率

例如：P(被狗咬,掉到沟里) = P(被狗咬) * P(掉到沟里) = 0.1 * 0.01 = 0.001
假如一天之内，一个人被狗咬到的可能性是十分之一，不小心掉到沟里的可能性是百分之一。要是在同一天这个人既被狗咬，又掉进沟里了，那么这个可能性是(1/10)*(1/100)=千分之一，那只能说他真是太不幸了。

联合概率的韦恩图(Venn diagram)表示：

1.3 条件概率(Conditional Probability)

条件概率是指在事件B发生的条件下，事件A发生的概率。
记作：P(A|B)

读作：在已知B的条件下，A的可能性。或：出现B的情况时，A的概率。(阅读时先B后A)

英文读作：the probability of A, given B，代表：event A assuming that B has occurred，简称：A given B。(英文阅读时先A后B)

例1：再以抛硬币为例，某些人认为概率不是1/2，而是和人品有关：P(正面|人品)=1/10，表示在他的人品影响下，他抛10次硬币只有一次会是正的。
例2：P(比赛胜利|队员受伤)=0 读作：在队员受伤的情况下，比赛获胜的机会是0(不可能获胜)。

事件B可以是多个参数，例如：P(y=1|x;θ) 或 P(y=1|x,θ) , x和θ可以看作一个整体，读作：在x和θ这两个参数的影响下，y=1的可能性。

1.4 条件概率乘法(Conditional Probability Multiplication)

继续前面那个被狗咬的例子，由于“被狗咬”和“掉到沟里”这两个事件有可能存在一定的联系，因此我们常常把P(A)转而写成P(A|B)，解释为已知某天一个人被狗咬到了，那他掉到沟里的概率就是P(掉到沟里|被狗咬)。P(A)表达了A、B这两件事毫不相干；P(A|B)则表示某人是由于被狗咬才掉进沟里的，是条件概率。注意：P(A)和P(A|B)表达了两个不同概念，一般地，P(A)≠(A|B)。

根据联合概率的乘法公式，我们扩展出条件概率的乘法公式：

$$P(A,B)=P(A|B)\times P(B)=P(B|A)\times P(A)$$ 由此变换后可得出条件概率公式：
$$P(A|B)=\frac{P(A,B)}{P(B)}=\frac{P(A\cap B)}{P(B)}$$ 再变换，可得出贝叶斯公式：

P(A|B)=P(B|A)×P(A