第0章 机器学习概率论

排列数

从m个不同元素中取出n(n ≤ m)个元素(被取出的元素各不相同)，并按

照一定的顺序排成一列(一般顺序是抽取出来的顺序)，叫做从m个不同元素中取出n个元素的一个排列。记作:A(m,n)

组合数

从m个不同元素中取出n(n ≤ m)个元素的所有组合的个数，叫做从m个

不同元素中取出n个元素的组合数。记作:C(m,n)

 

古典概率

概率是以假设为基础的，即假定随机现象所发生的事件是有限的、互

不相容的，而且每个基本事件发生的可能性相等。一般来讲，如果在全部可能出现的基本事件范围内构成事件A的基本事件有a个，不构成事件A的有b个，那么事件A出现的概率为：

P(A) =a/a + b

概率体现的是随机事件A发生可能的大小度量(数值)

 

 联合概率

表示两个事件共同发生的概率，事件A和事件B的共同概率记作：

P(AB)、P(A,B)或者P(A∩B)，读作“事件A和事件B同时发生的概率”

 

  条件概率

事件A在另外一个事件B已经发生的条件下的发生概率叫做条件概率，表示为P(A|B)，读作

“在B条件下A发生的概率”

一般情况下P(A|B)≠P(A)，而且条件概率具有三个特性：

1. 非负性
2. 可列性
3. 可加性
4. 将条件概率公式由两个事件推广到任意有穷多个事件时，可以得到如下公式，假设A1，A2， ，An为n个任意事件(n≥2)，而且

5. P(A1A2 An)>0，则：

   P(A1 A2 ...An ) =P(A1 )P(A2 |A1 )...P(An |A1 A2 ...An-1 )

全概率公式

 

 

贝叶斯公式

P(A)：在没有数据支持下，A发生的概率：先验概率或边缘概率。

P(A|B)：在已知B发生后A的条件概率，也就是由于得自B的取值而被称 为 A 的 后 验 概 率 。 

 P(B|A)：在已知A发生的情况下的概率分布：似然函数。

 

 事件的独立性

给定A、B两个事件，如果概率存在P(A,B)=P(A)P(B)<A、B事件的联合分布概率等于事件各自分布概率的积>，则事件A和B相互独立。

如果事件A、B相互独立，互不影响，那么存在P(A|B)=P(A)，

P(B|A)=P(B)