2020年3月底学习——概率论篇

1 任务

1. 复习记录线性代数知识
2. 读一遍PCB论文
3. 尝试实现RPP
4. 尝试程序基于视频实现
5. 完成论文绪论部分

2 学习

2.1 方差

统计描述定义

方差用来衡量随机变量或一组数据离散程度，统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数
总体方差计算：
$${\sigma }^2=\frac{\Sigma (X-\mu {)}^2}{N}$$
其中σ²为总体方差，X为变量，μ为总体均值，N为总体例数
实际工作中，总体均数难以得到时，应用样本统计量代替总体参数。
样本方差计算：
$$S^2=\frac{\Sigma (X-\overline{X})}{n-1}$$
其中S²为样本方差，X为变量，$\overline{X}$为样本均值，n为样本例数

概率分布定义

在概率分布中，设X是一个离散型随机变量，若$E[(X-E(X){)}^2]$存在，则称它为X的方差，记为$D(X)$,$Var(X)$或$DX$，$\sqrt{D(X)}$称为标准差或均方差。
方差和期望的关系：
$$\begin{array}{rl}D(X)& =E[(X-E(X){)}^2]\\ & =E(X^2)-E(X{)}^2\end{array}$$

2.2 协方差

定义

协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。
期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为：
$$\begin{array}{rl}Cov(X,Y)& =E[(X-E[X])(Y-E(Y))]\\ & =E[XY]-2E[X]E[Y]+E[X]E[Y]\\ & =E[XY]-E[X]E[Y]\end{array}$$
统计学公式为：
$$\sigma (x,y)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})$$
显然，当x,y相等时，表示的是方差
协方差与方差的关系及一些性质：
$$\begin{array}{rl}& D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\\ & D(X-Y)=D(X)+D(Y)-2Cov(X,Y)\\ & Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\end{array}$$

协方差矩阵

参考来源：知乎
在统计学与概率论中，协方差矩阵的每个元素是各个向量元素之间的协方差。
样例：
根据方差的定义，给定$d$个随机变量$x_k,k=1,2,...,d$，则这些随机变量的方差为:
$$\sigma (x_k,x_k)=\frac{1}{n-1}\sum _{i=1}^n(x_{ki}-{\overline{x}}_k{)}^2,k=1,2,...,d$$
其中，$x_{ki}$表示随机变量$x_k$中的第$i$个观测样本，$n$表示样本量，每个随机变量所对应的观测样本数量均为$n$。
对于这些随机变量，可以根据定义求出两两的协方差：
$$\sigma (x_m,x_k)=\frac{1}{n-1}\sum _{i=1}^n(x_{mi}-{\overline{x}}_m)(x_{ki}-{\overline{x}}_k)$$
协方差矩阵为：
$$\Sigma =\left[\begin{array}{ccc}\sigma (x_1,x_1)& \cdots & \sigma (x_1,x_d)\\ ⋮& \ddots & ⋮\\ \sigma (x_d,x_1)& \cdots & \sigma (x_d,x_d)\end{array}\right]\in {\mathbb{R}}^{d\times d}$$
对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差，根据协方差的定义，我们可以认定：矩阵$\Sigma$为对称矩阵(symmetric matrix)，其大小为$d\times d$。

2.3 概率论复习

基本概念

1. 互斥事件(互不相容)：$A\bigcap B=\varnothing$，A,B不能同时发生
2. 对立事件：$A\bigcup B=S,A\bigcap B=\varnothing$，A和B必有一个发生且仅有一个发生
   对立事件一定是互斥事件，反之不成立
3. 对于任意两事件A,B,有：$P(A\bigcup B)=P(A)+P(B)-P(AB)$
   多个事件的情况：$P(A_1\bigcup A_2\bigcup A_3)=P(A_1)+P(A_2)+P(A_3)-P(A_1{A}_2)-P(A_1{A}_3)-P(A_2{A}_3)+P(A_1{A}_2{A}_3)$
4. 条件概率：事件A发生的条件下事件B发生的概率$P(B|A)$
   $$P(B|A)=\frac{P(AB)}{P(A)}$$
5. 全概率公式：设试验E的样本空间为$S$，$A$为$E$的事件，$B_1,B_2,\cdots ,B_n$为$S$的一个划分，且$P(B_i)>0(i=1,2,\cdots ,n)$，则:
   $$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\cdots +P(A|B_n)P(B_n)$$
6. 贝叶斯(Bayes)公式：设试验E的样本空间为$S$，$A$为$E$的事件,$B_1,B_2,\cdots ,B_n$为$S$的一个划分，且$P(A)>0,P(B_i)>0(i=1,2,\cdots ,n)$，则:
   $$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)},i=1,2,\cdots ,n$$
   若上述5，6两式n=2，并将$B_1$记为$B$，此时$B_2$就是$\overline{B}$，那么全概率公式和贝叶斯公式分别写为：
   $$P(A)=P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$$ $$P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A\overline{B})P(\overline{B})}$$

随机变量及分布

$$随机变量\{\begin{array}{l}离散型\\ 非离散型\{\begin{array}{l}连续型\\ 其他\end{array}\end{array}$$

1. 二项分布(Binomial Distribution)：又称伯努利分布，表示为$X\sim B(n,p)$，即重复n次的伯努利试验(Bernoulli Experiment)，如果事件发生的概率是$p$,则不发生的概率$q=1-p$，N次独立重复试验中发生$k$次的概率是(其中$C_n^k$是组合数):
   $$P(X=k)=C_n^k\ast p^k\ast q^{n-k},k=0,1,2,\cdots ,n$$期望值：$E(\xi )=np$，方差：$D(\xi )=npq$。
2. 连续型随机变量
   通俗理解：连续型随机变量求概率可对概率密度积分
   对于随机变量$X$的分布函数$F(x)$，存在非负函数$f(x)$，使对于任意实数$x$有：$$F(x)={\int }_{-\infty }^{x}f(t)\mathrm{d}t$$则称$X$为连续型随机变量，其中函数$f(x)$称为$X$的概率密度函数，简称概率密度。性质：
   $$f(x)\ge 0,{\int }_{-\infty }^{+\infty }f(x)\mathrm{d}x=1$$
   均匀分布：若连续型随机变量$X$具有概率密度：$$f(x)=\{\begin{array}{ll}\frac{1}{a-b},& a<x<b\\ 0,& 其他\end{array}$$则称X在区间$(a,b)$上服从均匀分布，记为$X\sim U(a,b)$，$X$的分布函数为：
   $$F(x)=\{\begin{array}{ll}0,& x<a\\ \frac{x-a}{b-a},& a\le x<b\\ 1,& x\ge b\end{array}$$
   期望值：$E(x)=\frac{a+b}{2}$，方差：$D(x)=\frac{(a-b{)}^2}{12}$
   指数分布：若连续型随机变量$X$具有概率密度：$$f(x)=\{\begin{array}{ll}\frac{1}{\theta }{e}^{-x/\theta },& x>0\\ 0,& 其他\end{array}$$其中$\theta >0$为常数，则称$X$服从参数为$\theta$的指数分布。
   正态(高斯)分布：连续型随机变量$X$具有概率密度$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},x\in (-\infty ,+\infty )$$则称$X$服从参数为$\mu ,\sigma$的正态分布或高斯分布，其中$\mu ,{\sigma }^2$分别为期望和方差， 记为：$X\sim N(\mu ,{\sigma }^2)$，$Y=\frac{X-\mu }{\sigma }\sim N(0,1)$