机器学习相关 概率论重点笔记

A事件发生的概率，记为 $P(A)$或 $Pr(A)$。

1. 联合概率、条件概率、边缘概率

1.1 联合概率 joint probability

联合概率：指两个事件A，B同时发生的概率。记为$P(A,B)$，或$P(AB)$，或$P(A\cap B)$。

当A,B相互独立时，有$P(AB)=P(A)P(B)$

1.2 条件概率 conditional probability

条件概率：B发生的前提下，A发生的概率。记为$P(A|B)$。
条件概率公式：$P(A|B)=\frac{P(AB)}{P(B)}$
当A,B相互独立时，$P(A|B)=P(A)$，即B发不发生，不影响A。
乘法公式：$P(AB)=P(A|B)P(B)$

1.3 边缘概率 marginal probability

边缘概率：指事件A发生的概率。通常可以用全概率公式(见后面解释)来表示：
$$P(A)=\sum _{i}P(A|B_i)P(B_i)$$

完备事件组

设$S$为试验$E$的样本空间，$B_1,B_2,\cdots ,B_n$为$E$的一组事件。若

• $B_i\cap B_j=\varnothing （i\ne j）$；
• $B_1\cup B_2\cup \cdots \cup B_n=S$

则称$B_1,B_2,\cdots ,B_n$为$E$为样本空间$S$的一个完备事件组（划分）。

全概率定理

{ B i } \{B_i\} {Bi​}为一完备事件组，则对该样本空间中的任意事件A有全概率公式：
$$P(A)=\sum _{i}P(A\cap B_i)=\sum _{i}P(A|B_i)P(B_i)$$
全概率公式的作用：把一个问题分解成多个可能更简单的问题来解决。

贝叶斯公式

是一个求条件概率的公式。
$$P(A|B)=\frac{P(AB)}{P(B)}=\frac{乘法公式替换}{全概率公式替换}=\frac{P(B|A)P(A)}{{\sum }_{A_i}P(B|A_i)P(A_i)}$$

2. 常见函数概念

2.1 概念解释

• PDF：常记为$f_X(t)$。概率密度函数（probability density function）, 在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。
  常见的连续随机变量分布的PDF函数：均匀分布，指数分布，Gamma分布和正态分布等。

• PMF :也记为$f_X(t)$。概率质量函数（probability mass function), 在概率论中，概率质量函数是离散随机变量在各特定取值上的概率。
  常见的离散随机变量分布的PMF函数：伯努利分布，二项分布，泊松分布。

• CDF : 记为$F_X(t)$。累积分布函数 (cumulative distribution function)，又叫分布函数（distribution function），是概率密度函数的积分，能完整描述一个实随机变量X的概率分布。
  不管是什么类型（连续/离散/其他）的随机变量，都可以定义它的累积分布函数。

2.2 数学表示

PDF：如果$X$是连续型随机变量，概率密度函数PDF定义为$f_X(t)$，用PDF在某一区间上的积分来刻画随机变量落在这个区间中的概率：
$$Pr(a\le X\le b)={\int }_a^b{f}_X(t)dt$$

PMF:如果$X$是离散型随机变量，则 概率质量函数PMF$f_X(t)$为：
$$f_X(t_i)=Pr(X=t_i)，即X为t_i的概率$$
CDF：累积分布函数
$$F_X(t)=Pr(X\le t)=\{\begin{array}{l}{\int }_{-\infty }^t{f}_X(x)dx，连续型\\ \sum _{x_i\le t}Pr(X=x_i)=\sum _{x_i\le t}{f}_X(x_i)，离散型\end{array}$$
说明:

• PDF的取值本身不是概率，它是一种趋势（密度）只有对连续随机变量的取值进行积分后才是概率，也就是说对于连续值确定它在某一点的概率是没有意义的；
• PMF的取值本身代表该值的概率。

参考：
https://blog.csdn.net/Anne033/article/details/114327608
https://blog.csdn.net/lanchunhui/article/details/52965391

3. 期望和方差的性质

3.1 期望

1. $Z=g(X,Y),E(Z)={\sum }_i^n{\sum }_j^{m}g(x_i,y_j)p_{ij}$
2. $E(c)=c，c为常数$
3. $E(c)=c，c为常数$
4. $E(cX)=cE(X)$
5. $E(X+Y)=X+Y$
6. $E(XY)=E(X)E(Y)，X和Y相互独立$
7. $E(E(X))=E(X)$

3.2 方差

方差（英語：variance）描述的是一个随机变量的离散程度，即一组数字与其平均值之间的距离的度量，是随机变量与其总体均值或样本均值的离差的平方的期望值。

1. 方差定义：$Var(X)=E((X-E(X){)}^2)=E(X^2)-E(X{)}^2$
2. $Var(X)\ge 0$
3. $Var(a)=0，a为常数$
4. $Var(X+a)=Var(X)$
5. $Var(aX)=a^{2}Var(X)$
6. $Var(aX+bY)=a^{2}Var(X)+b^{2}Var(Y)+2abCov(X,Y)$
7. 特例：$Var(X-Y)=Var(X)+Var(Y)-2Cov(X,Y)$
8. 通用形式：$Var({\sum }_{i=1}^n{X}_i)={\sum }_{i,j=1}^{n}Cov(X_i,X_j)={\sum }_{i=1}^{n}Var(X_i)+{\sum }_{i\ne j,1}^{n}Cov(X_i,X_j)$

3.3 协方差

协方差（英语：Covariance），在概率论与统计学中用于衡量两个随机变量的联合变化程度。
定义，X，Y为两个随机变量，X,Y的协方差为：
$$Cov(X,Y)=E((X-E(X))(Y-E(Y)))=E(XY)-E(X)E(Y)$$

性质：

1. 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
   
2. 若X,Y相互独立，则$Cov(X,Y)=0$。反过来不一定成立，但如果$Cov(X,Y)=0$，则说明X,Y线性无关
3. $Cov(X,X)=Var(X)$
4. $Cov(X,Y)=Cov(Y,X)$
5. $Cov(aX,bY)=abCov(X,Y)$
6. $Cov({\sum }_{i=1}^n{X}_i,{\sum }_{j=1}^m{Y}_j)={\sum }_{i=1}^n{\sum }_{j=1}^{m}Cov(X_i,Y_j)$

3.4 协方差矩阵

之前X,Y都是1维标量，这里，X是由n个随机变量组成的列向量，Y由m个：
$$X=\left[\begin{array}{c}{x}_1\\ x_2\\ \cdots \\ x_n\end{array}\right],Y=\left[\begin{array}{c}{y}_1\\ y_2\\ \cdots \\ y_m\end{array}\right],E(X)=\left[\begin{array}{c}E(x_1)\\ E(x_2)\\ \cdots \\ E(x_n)\end{array}\right]$$
协方差矩阵由两个定义：

1. 协方差称之为随机向量X的方差（Variance of random vector X）：
   $$\Sigma =Var(X)=Cov(X,X)=E((X-E(X))(X-E(X){)}^T)$$
2. 两个随机向量X，Y之间的协方差：
   $$Cov(X,Y)=E((X-E(X))(Y-E(Y){)}^T)$$
   两种定义都有，其第(i,j)位置的值为：
   $${\Sigma }_{ij}=Cov(x_i,y_j)=E((x_i-E(x_i))(y_j-E(y_j)))$$
   令${\mu }_i=E(x_i),\mu =E(X)$，则有
   $$\Sigma =\left[\begin{array}{cccc}E((x_1-{\mu }_1))(x_1-{\mu }_1)& E((x_1-{\mu }_1))(x_2-{\mu }_2)& \cdots & E((x_1-{\mu }_1))(x_n-{\mu }_n)\\ E((x_2-{\mu }_2))(x_1-{\mu }_1)& E((x_2-{\mu }_2))(x_2-{\mu }_2)& \cdots & E((x_2-{\mu }_2))(x_n-{\mu }_n)\\ ⋮& ⋮& \ddots & ⋮\\ E((x_n-{\mu }_n))(x_1-{\mu }_1)& E((x_n-{\mu }_n))(x_2-{\mu }_2)& \cdots & E((x_n-{\mu }_n))(x_n-{\mu }_n)\end{array}\right]$$

性质:

$A，B为m\times n维矩阵,a为n\times 1维列向量：$

1. $\Sigma =E(X{X}^T)-\mu {\mu }^T$
2. $\Sigma$是半正定的对称矩阵
3. $\Sigma \ge 0,\Sigma ={\Sigma }^T$
4. $Var(a^{T}X)=a^{T}Var(X)a$
5. $Var(AX+a)=AVar(X)A^T$
6. $Cov(X,Y)=Cov(Y,X{)}^T$
7. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
8. 若n=m,$Cov(X+Y)=Var(X)+Cov(X,Y)+Cov(Y,X)+Var(Y)$
9. $Cov(AX,BX)=ACov(X,X)B^T$
10. 若X,Y相互独立，$Cov(X,Y)=0$

参考：
https://blog.csdn.net/sodacoco/article/details/89041910
https://zh.m.wikipedia.org/zh/%E6%96%B9%E5%B7%AE
https://zh.m.wikipedia.org/wiki/%E5%8D%8F%E6%96%B9%E5%B7%AE
https://zh.m.wikipedia.org/wiki/%E5%8D%8F%E6%96%B9%E5%B7%AE%E7%9F%A9%E9%98%B5