状态估计（2.1）——概率密度函数

状态估计（2.1）——概率论基础知识（1）

一、随机事件和概率

随机试验：满足可重复性，多结果性，不确定性的试验

随机事件：一次随机试验中可能出现也可能不出现的结果

不可能事件：试验中不可能出现的事件，记为$\varphi$

必然事件：在试验中必然出现的事件，记为S或$\Omega$

样本点：随机试验的每个基本结果，记作e或$\omega$

样本空间：全体样本点的集合，记作S或$\Omega$

随机事件是样本空间的子集，基本事件是单点集，复合事件是多点集，一个事件发生当且仅当该事件包含的一个样本点出现

事件间的关系（集合间的关系和运算）：

事件A的发生必然导致事件B发生，B包含A，记作B$\supset$A或A$\subset$B

如果A$\supset$B且A$\subset$B，则称事件A和事件B相等，记作A=B

和事件：事件A和事件B至少有一个发生，记作A$\cup$B

积事件：事件A和事件B都发生，记作A$\cap$B

差事件：事件A发生而事件B不发生，记作A-B

互不相容事件或互斥事件：事件A，事件B不能同时发生，AB=$\varphi$

逆事件或对立事件：A不发生称为A的对立事件或逆事件，记作$\overline{A}$

$A\cup \overline{A}=S$ $A\overline{A}=\varphi$

运算律

（1）交换律： $A\cup B=B\cup A$, $AB=BA$

（2）结合律：$A\cup (B\cup C)=(A\cup B)\cup C=A\cup B\cup C$ $A(BC)=(AB)C=ABC$

（3）分配率：$A\cup (B\cap C)=(A\cup B)\cap(A\cup C) $ $A\cap (B\cup C)=(A\cap B)\cup (A\cap C)=AB\cup AC$

（4）德摩根律：

$\overline{A\cup B}=\overline{A}\cap \overline{B}$

$\overline{A\cap B}=\overline{A}\cup \overline{B}$

设试验E是古典概型, 其样本空间S由n个样本点组成 , 事件A由k个样本点组成 . 则定义事件A的概率为$P(A)=\frac{k}{n}=\frac{A中包含的样本点数}{S中的样本点数}$

几何概率：设事件A是S的某个区域，它的面积为 μ(A)，则向区域S上随机投掷一点，该点落在区域A的概率为：$P(A)=\frac{\mu (A)}{\mu (S)}$

概率的性质

（1）$P(\varphi )=0$

（2）有限可加性：A₁,A₂,…,A_n,两两互不相容，则$P({\cap }_{k=1}^n{A}_k)=\sum _{k=1}^{n}P(A_k)$

（3）逆事件的概率：对任一事件A，有$P(A)=1-P(\overline{A})$

（4）P(A-B)=P(A)-P(AB)

（5）$P(A\cup B)=P(A)+P(B)-P(AB)$

（6）单调性： 若$A\supset B$，则P(B-A)=P(B)-P(A), P(B) ≥ P(A)

条件概率：在事件B发生的条件下，事件A发生的概率称为A对B的条件概率，记作$P(A|B)$,$P(A|B)=\frac{P(AB)}{P(B)}$

乘法公式：若$P(B)>0$，则$P(AB)=P(B)\times P(A|B)$

全概率公式：设A₁,…,A_n是试验E的样本空间Ω的一个划分，且P(A_i)>0，i =1,2,…,n, B是任一事件, 则 $P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$

贝叶斯公式：设A₁,A₂,…,A_n是试验E的样本空间Ω的一个划分，且P(A_i)>0，i =1,2,…,n, B是任一事件且P(B)>0, 则
$$P(A_i|B)=\frac{P(A_i)P(B|A_i)}{\sum _{i=1}^{n}P(A_i)P(B|A_i)}=\frac{P(A_i)P(B|A_i)}{P(B)}$$
若两事件A、B满足$P(AB)=P(A)P(B)$ 则称A、B独立，或称A、B相互独立

相互独立和两两独立的区别：例如在三个事件A、B、C中，两两独立只需满足P(AC)=P(A)P©，P(AB)=P(A)P(B)，P(CB)=P©P(B)，相互独立还需满足P(ABC)=P(A)P(B)P©。两两独立意味着任意两个事件之间，一个发生与否对另一个没影响。相互独立意味着其中任意数量的事件之间，某一些发生对另一个没影响。

伯努利试验（Bernoulli experiment）是在同样的条件下重复地、相互独立地进行的一种随机试验，其特点是该随机试验只有两种可能结果：发生或者不发生。对于n重伯努利试验，事件A在n次试验中出现k次的概率为$P_n(k)=C_n^k{p}^k{q}^{n-k}，q=1-p$。事件A在第k次试验中才首次发生的概率为$p(1-p{)}^{k-1}$

二、随机变量及其分布

随机变量：随机事件的数量表现，分为离散型随机变量和连续型随机变量

分布函数：设X是一个随机变量，x为一个任意实数，函数$F(X)=P(X\le x)$为X的分布函数，X的分布函数记作$X\sim F(x)$或$F_x(x)$

分布函数的性质：

（1）单调性：F(x)非降，若x₁<x₂，则$F(x_1)\le F(x_2)$

（2）有界性：$F(-\infty )=\underset{x\to -\infty }{\lim }F(x)=0$，$F(+\infty )=\underset{x\to +\infty }{\lim }F(x)=1$

（3）右连续性：F(x)右连续，即$\underset{x\to x_0^{+}}{\lim }F(x)=F(x_0)$

离散型随机变量及其分布

设x_k(k=1,2,…)是离散型随机变量X所取的一切可能值，称等式$P(X=x_k)=P_K$, 为离散型随机变量X的概率函数或分布律，也称概率分布. 其中P_K≥0；ΣP_k=1

已知随机变量X的分布律，可求出X的分布函数： F ( x ) = P { X ≤ x } = ∑ x k ≤ x P { X = x k } = ∑ x k ≤ x p k F(x)=P\left\{ X\le x\right\}=\sum\limits_{x_k\le x}P\left\{{X=x_k}\right\}=\sum\limits_{x_k\le x}p_k F(x)=P{X≤x}=xk​≤x∑​P{X=xk​}=xk​≤x∑​pk​

已知随机变量X的分布函数，可以求出X的分布律： P { X = x k } = F ( x k ) − F ( x k − 0 ) P\left\{{X=x_k}\right\}=F(x_k)-F(x_k-0) P{X=xk​}=F(xk​)−F(xk​−0)，k=1,2,3

常用离散型分布：

二项分布：$X\sim B(n,p)$，0<p<1

泊松分布：$X\sim P(\lambda )$，$\lambda$>0

连续型随机变量及其分布

概率密度函数（pdf）是描述一个连续型随机变量的输出在某一个确定的取值点附近的可能性的函数

规范性：x为区间[a,b]上的随机变量，服从概率密度函数p(x)，则其满足
$${\int }_a^{b}p(x)dx=1$$
概率密度函数的非负性：
$$\forall x\in [a,b],p(x)\ge 0$$
概率是指密度函数在区间上的积分面积
$$P(c\le x\le d)={\int }_c^{d}p(x)dx$$
若f(x)在x处连续，则有F’(x)=f(x)

分布函数$F(x)={\int }_{-\infty }^{x}f(t)dt$

常用连续型随机变量：

均匀分布：$X\sim U(a,b)$
$$f(x)=\{\begin{array}{llc}\frac{1}{b-a}& & a<x<b\\ 0& & 其他\end{array}$$
指数分布：$X\sim exp(\theta ),\theta >0$
$$f(x)=\{\begin{array}{llc}\frac{1}{\theta }{e}^{-\frac{1}{\theta }x}& & x>0\\ 0& & x\le 0\end{array}$$
正态分布：$X\sim N(\mu ,{\sigma }^2),\sigma >0$
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}-\infty <x<\infty$$

三、多维随机变量

二维随机变量联合分布函数： F ( x , y ) = P { X ≤ x , Y ≤ y } F(x,y)=P\{X\le x,Y\le y\} F(x,y)=P{X≤x,Y≤y}

二维离散型随机变量联合分布律：$P(X=x_i,Y=y_j)=p_{ij}$

二维连续型随机变量联合概率密度：$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$

随机变量落在区域G内的概率为： P { ( X , Y ) ∈ G } = ∬ G f ( x , y ) d x d y P\{{(X,Y)\in G}\}=\iint\limits_G{f(x,y)}dxdy P{(X,Y)∈G}=G∬​f(x,y)dxdy

边缘分布函数：

连续型$F_X(x)=\underset{y\to +\infty }{\lim }F(x,y)=F(x,+\infty )$，$F_Y(y)=\underset{x\to +\infty }{\lim }F(x,y)=F(+\infty ,y)$

离散型 p i ⋅ = P { X = x i } = ∑ j = 1 ∞ p i j p_{i\cdot}=P\{X=x_i\}=\sum\limits^\infty_{j=1}{p_{ij}} pi⋅​=P{X=xi​}=j=1∑∞​pij​， p ⋅ j = P { Y = y j } = ∑ i = 1 ∞ p i j p_{\cdot j}=P\{Y=y_j\}=\sum\limits^\infty_{i=1}{p_{ij}} p⋅j​=P{Y=yj​}=i=1∑∞​pij​

边缘概率密度：$f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$，$f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$

X和Y相互独立的充要条件为：

$F(x,y)=F_X(x)F_Y(y)$

离散型$P_{ij}=P_{i\cdot }{P}_{\cdot j}$

连续型$f(x,y)=f_X(x)f_Y(y)$

若X₁,…,X_n为相互独立的随机变量，且$X_i\sim N({\mu }_i,{\sigma }_i^2)$，C₁,…,C_n为n个任意常数，则$\sum _{i=1}^n{C}_i{X}_i\sim N(\sum _{i=1}^n{C}_i{\mu }_i,\sum _{i=1}^n{C}_i^2{\sigma }_i^2)$

N维随机变量的联合概率密度函数：x=(x₁,…,x_n)，x_i∈[a_i,b_i]，p(x₁,…,x_n)表示n个随机变量分别在各自取值的可能性

四、随机变量的数字特征

随机变量的数学期望：

离散型随机变量的数学期望$E(X)=\sum _{i=1}^{\infty }{x}_i{p}_i$

连续型随机变量的数学期望$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$

随机变量函数的数学期望$E(Y)=E[g(X)]=\{\begin{array}{l}\sum _{k=1}^{\infty }g(x_k)p_k\\ {\int }_{-\infty }^{+\infty }g(x)f(x)dx\end{array}$

数学期望的性质：

（1）设c是常数，则有$E(c)=c$

（2）$E(cX)=cE(X),E(X+c)=E(X)+c$

（3）$E(X+Y)=E(X)+E(Y)$

（4）设X和Y是相互独立的随机变量，则有$E(XY)=E(X)E(Y)$

随机变量的方差：

定义式：$D(X)=E[X-E(X){]}^2$

计算式：$D(X)=E(X^2)-[E(X){]}^2$

方差的性质：

（1）设c是常数，则$D(c)=0$

（2）$D(cX)=c^{2}D(X),D(X+c)=D(X)$

（3） D ( X + Y ) = D ( X ) + D ( Y ) + 2 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } D(X+Y)=D(X)+D(Y)+2E\{{[X-E(X)][Y-E(Y)]}\} D(X+Y)=D(X)+D(Y)+2E{[X−E(X)][Y−E(Y)]}，当X,Y相互独立时，$D(X+Y)=D(X)+D(Y)$

协方差及相关系数：

定义式： C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y)=E\{{[X-E(X)][Y-E(Y)]}\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}，${\rho }_{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

计算式：$Cov(X,Y)=E(XY)-E(X)E(Y)$

性质：

（1）$Cov(X,Y)=Cov(Y,X)$

（2）$Cov(X,X)=D(X)$

（3）$Cov(aX,bY)=abCov(X,Y)$

（4）$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y) $

（5）当随机变量X,Y相互独立时，有$Cov(X,Y)=0$

矩：

（1）k阶原点矩$E(X^k)$

（2）k阶中心矩 E { [ X − E ( X ) ] k } E\{[X-E(X)]^k\} E{[X−E(X)]k}

（3）k+l阶混合矩$E(X^k{Y}^l)$

（4）k+l阶混合中心矩 E { [ X − E ( X ) ] k [ Y − E ( Y ) ] l } E\{{[X-E(X)]^k[Y-E(Y)]^l}\} E{[X−E(X)]k[Y−E(Y)]l}

五、极限定理（未完成）

契比雪夫不等式：设随机变量X的数学期望E(X)及方差D(X)都存在，则对于任意正数$ϵ$，有不等式
P { ∣ X − E ( X ) ∣ ≥ ϵ } ≤ D ( X ) ϵ 2 P\{{|X-E(X)|\ge \epsilon}\}\le \frac{D(X)}{\epsilon^2} P{∣X−E(X)∣≥ϵ}≤ϵ2D(X)​
即
P { ∣ X − E ( X ) ∣ < ϵ } ≥ 1 − D ( X ) ϵ 2 P\{{|X-E(X)|< \epsilon}\}\ge1- \frac{D(X)}{\epsilon^2} P{∣X−E(X)∣<ϵ}≥1−ϵ2D(X)​
成立

大数定理：
$$\frac{1}{n}\sum _{i=1}^n\stackrel{P}{\to }\mu (n\to \infty )$$

**中心极限定理：**当n充分大时，
$$\sum _{i=1}^n{X}_i\sim N(n\mu ,n{\sigma }^2)⟷\overline{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$$

六、假设检验（未完成）