机器学习笔记

3.第三章
样本空间：随机试验所有结果构成的集合。
事件空间：由事件A构成，事件由实验的可能结果构成，为样本空间的子集。
概率公理：概率公理为事件空间到实数的函数映射，其满足如下属性：
（1）对于事件空间中的所有事件，均有P(A) ≧ 0
（2）对于样本空间的总概率为1。
（3）若A1，A2，……彼此之间没有交集，则有：
性质：

1. 若A∈B，则有P(A) ≦ P(B)。

2. P(A∩B)=min(P(A),P(B))

3. P(A∪B) ≦ P(A)+P(B)

4. P(ΩA) = 1-P(A)

5. 总概率法则：若A1，A2，……Ak一系列彼此之间没有交集的事件，且U^k_i=1A_i = Ω ,则有：
   
   条件概率：
   事件B为非零概率事件，在给定事件B的发生的条件下，任意事件A的条件概率定义如下：
   
   概率质量函数：
   当随机变量为离散变量时，直接指定随机变量取各个值的概率，这类概率度量称为概率质量函数。

   pX(x) ≜ P(X = x).

设我们用 Val(X) 表示离散性随机变量 X 的取值集合。例如，假设 X(w) 表示抛 10 次硬币出现正面的次数，此时 Val(X) = {0, 1, 2, . . ., 10}。
性质:

0 ≤ pX(x) ≤ 1
∑x∈V al(x) pX(x) = 1
∑x∈A pX(x) = P(X ∈ A)

累积分布函数：表示为F_x：R→[0,1],对应的概率度量定义如下：

                                          FX(x) ≜ P(X ≤ x)

性质：

0 ≤ FX(x)  ≤ 1
lim x→ -∞ FX(x) = 0
lim x→ ∞ FX(x) = 1
x ≤ y »  FX(x) ≤  FX(y)

概率密度函数：
当随机变量为连续型随机变量时，若累积分布函数(CDF) FX(x)处处可导。我们定义概率密度函数为CDF的导数，即：

性质：
fX(x) ≥ 0.
∫ ^∞_−∞fX(x) = 1.
∫_x∈A fX(x)dx = P(X ∈ A).
期望：

对于任意常量 a ∈ R，有 E[a] = a.
对于任意常量 a ∈ R，有 E[a f (X)] = aE[ f (X)]. E[ f (X) + g(X)] = E[ f (X)] + E[g(X)]（期		     望线性性）.
对于离散性随机变量 X，E[1{X = k}] = P(X = k).

离散随机变量的几何分布：

f (x) = λe^−λx^  if x ≥ 0,    0 otherwise

正态分布，也叫高斯分布：

两个随机变量：
若我们希望研究某次随机实验同时产生随机变量X和Y的性质，我们需要随机变量X及Y的联合累积分布函数，定义如下：

FXY(x, y) = P(X ≤ x,Y ≤ y)

给定联合分布函数后，即可计算出随机变量X及Y关联的任意事件的概率。联合分布及边缘分布的关系如下：

上述公式中F_x(x)及F_Y(x)为联合分布F_XY(x,y)的边缘累积分布函数
性质：

0 ≤ FXY(x, y) ≤ 1.
limx,y→∞ FXY(x, y) = 1.
limx,y→−∞ FXY(x, y) = 0. FX(x) = limy→∞ FXY(x, y).

联合概率质量函数：

边缘概率质量函数

联合概率密度函数：

边缘概率密度函数：

条件分布：
给定随机变量X取值x时，随机变量Y的概率分布

连续型随机变量，条件概率密度函数

贝叶斯法则
贝叶斯法则用于推导给定某个随机变量的条件下当前随机变量的条件概率。

独立性

期望及协方差

性质：

协方差矩阵

参数估计
最大似然估计：目标是求解的参数最大化观测到事件（随机变量）的概率。

最大后验估计：
结构化概率模型：
有向图模型（贝叶斯网络-----有向无环图）：

1）公共父节点

若未观察到B时，则A和C不独立。直观解释是B包含了所有决定A和C的信息，所以若观察到B，则没有其它信息影响变量A和C。
2）层次依赖

若未观察到B，则A与C不独立。直观解释是B包含了决定C的所有信息，因此若观察到B,则没有其它信息影响变量C。
3）V型结构

若观察到C则A和B不独立。比如C表示草坪是否是湿的，A表示是否下雨，B表示洒水装置是否打开。若草坪C是湿的，但洒水装置B没有打开，则一定下雨了。
无向图模型（马尔科夫随机场）：
团：团表示无向图的一个子图，其中任意两个顶点之间存在一条边。
最大团：不存在一个顶点与当前团中任意顶点之间存在一条边。
无向图的联合分布：

C表示特定随机变量联合时，对应无向图的所有最大子团，Z为归一化因子，用于生成随机变量值的联合概率：