(概率论与数理统计)ch03

最新推荐文章于 2024-02-03 02:02:08 发布

luixiao1220

最新推荐文章于 2024-02-03 02:02:08 发布

阅读量227

点赞数

分类专栏：概率论与数理统计

本文链接：https://blog.csdn.net/luixiao1220/article/details/105342539

版权

概率论与数理统计专栏收录该内容

6 篇文章 1 订阅

订阅专栏

n维随机变量的联合分布函数
$F(x_1,x_2,\cdots, x_n)=P(X_1\leqslant x_1,X_2\leqslant x_2,\cdots,X_n\leqslant x_n)$
边缘分布函数
$\lim_{x\rightarrow \infty}F(\infty,\infty,\cdots,x_k,\cdots, \infty)=F_{x_k}(x_k)$
二维随机变量的联合分布举例
$y)=\left\{\begin{array}{l}1-e^{-x}-e^{-y}+e^{-x-y-\lambda x y} ,x>0,y>0\\ 0\end{array}\right.$
边缘分布
$F_{X}(x)=F(x, \infty)=\left\{\begin{array}{ll}1-e^{-x}, & x>0 \\ 0 & ,\end{array}\right.$
$F_{Y}(y)=F(\infty, y)=\left \{ \begin{array}{ll} 1-e^{-y},y>0\\ 0 , x \leqslant 0 \end{array} \right.$
多维连续随机变量的分布函数
$y)=\int_{-\infty}^{x} \int_{-\infty}^{x} p(x, y) d x d y$
由此可见,可以定义区域的概率大小的计算公式
$\in S)=\iint_{s} p(x, y) d x d y=\int_{a}^{b} \int_{\phi_{1}(x)}^{\varphi_{2}(x)} p(x, y) d y d x$
$c<Y<d)=\int_{a}^{b} \int_{c}^{d} p(x, y) d y d x$
概率密度函数的性质
$\left.\begin{array}{l}p(x, y) \geqslant 0 \\ \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} p(x, y) d x d y=1\end{array}\right\}$

$y)=\frac{\partial^{2}}{\partial x \partial y} F(x, y)$
$\begin{aligned} F_{X}(x) &=P(X \leqslant x, Y<\infty) \\ &=\int_{-\infty}^{x}\left\{\int_{-\infty}^{\infty} p(x, y) d y\right\} d x \\ &=\int_{-\infty}^{x} p_{X}(x) d x \end{aligned}$
$p_{X}(x)=\int_{-\infty}^{\infty} p(x, y) d y$
$P_{Y}(y)=\int_{-\infty}^{\infty} p(x, y) d x$
二维正态分布
$\begin{aligned} p(x, y)=& \frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \exp \left\{-\frac{1}{2\left(1-\rho^{2}\right)}\left[\frac{\left(x-\mu_{2}\right)^{2}}{\sigma_{1}^{2}}\right.\right.\\ &\left.\left.-\frac{2 \rho\left(x-\mu_{1}\right)\left(y-\mu_{2}\right)}{\sigma_{2} \sigma_{2}}+\frac{\left(y-\mu_{2}\right)^{2}}{\sigma_{2}^{2}}\right]\right\} \\ &-\infty<x, y<+\infty \end{aligned}$
二维正态分布的边缘分布.
$p_{X}(x)=\frac{1}{\sqrt{2 \pi} \sigma_{1}} \exp \left\{-\frac{\left(x-\mu_{1}\right)^{2}}{2 \sigma_{1}^{2}}\right\}$
从这个例子还可看出一个有趣的现象=由二维联合分布可以唯一决定其每个分!的边缘分布胆反过来不成立。即知道
X 与 Y 的边缘分布,也不足以决定其联合分布.譬如考虑两个二维正态分布
$N (0, 0, 1, 1, 1 / 2)$ $N (0, 0, 1, 1, 1 / 3)$

它们的任一边缘分布都是标准正态分布N(0,1).但这两个二维正态分布是不同分布,因为其参数
P
的数值不同。引起这个现象的原因是:二维联合分布不仅含有每夺分量的概率分布,而且还贪有两个变量X与Y之间关系的信息
,后者正是人们研究多维随机变量原因.以后会看到 ,这里参数 P
的值将会反映二个变量 X 与 Y 之间关系密切的程度.
独立的随机变量
$\begin{array}{l}P\left(X_{1} \leqslant x_{1}, X_{2} \leqslant x_{2}, \cdots, X_{n} \leqslant x_{n}\right) \\ \quad=P\left(X_{1} \leqslant x_{1}\right) p\left(X_{2} \leqslant x_{2}\right) \cdots P\left(X_{n} \leqslant x_{n}\right)\end{array}$

$p\left(x_{1}, x_{2}, \cdots, x_{n}\right)=p_{1}\left(x_{1}\right), p_{2}\left(x_{2}\right), \cdots, p_{n}\left(x_{n}\right)$
$\rho=0$ 时,即独立时.因为对于正态分布来说 $\rho=0$ 和独立是充分必要条件.而其他分布,不行.
$\begin{aligned} p(x, y) &=\frac{1}{2 \pi \sigma_{1} \sigma_{2}} \exp \left\{-\frac{1}{2}\left[\frac{\left(x-\mu_{1}\right)^{2}}{\sigma_{1}^{2}}+\frac{\left(y-\mu_{2}\right)^{2}}{\sigma_{2}^{2}}\right]\right\} \\ &=p_{X}(x) p_{Y}(y) \end{aligned}$
$Y=max\{X_1,X_2,\cdots, X_n\}$ , $Z=min\{X_1,X_2,\cdots, X_n\}$ .
$F_Y(y)=P(Y\leqslant y)=P(max\{X_1,X_2,\cdots, X_n\}\leqslant y)$
如果各变量独立,那么.
$\begin{aligned} F_{Y}(y) &=P\left(X_{1} \leqslant y, X_{2} \leqslant y, \cdots, X_{n} \leqslant y\right) \\ &=P\left(X_{1} \leqslant y\right) P\left(X_{2} \leqslant y\right) \cdots P\left(X_{n} \leqslant y\right) \\ &=\left[F_{X}(y)\right]^{n} \end{aligned}$
$p_{Y}(y)=n\left[F_{X}(y)\right]^{n-1} p_{X}(y)$
$\begin{aligned} F_{Z}(z) &=P(X \leqslant z)=P\left(\min \left(X_{1}, X_{2}, \cdots, X_{n}\right) \leqslant z\right) \\ &=1-P\left(\min \left(X_{1}, X_{2}, \cdots, X_{n}\right)>z\right) \\ &=1-P\left(X_{1}>z, X_{2}>z, \cdots, X_{n}>z\right) \\ &=1-P\left(X_{1}>z\right) P\left(X_{2}>z\right), \cdots, P\left(X_{n}>z\right) \\ &=1-\left[1-F_{X}(z)\right]^{n} \end{aligned}$
$p_{z}(z)=n\left[1-F_{X}(z)\right]^{\alpha-1} p_{X}(z)$
定理:设 $X_1,X_2,\cdots,X_n$ 是n个独立同分布随机变量, $F_X(x)$ ,和 $p_X(x)$ 是他们的分布函数和概率密度函数.其最大值 $Y=max\{X_1,X_2,\cdots, X_n\}$ 的分布函数于概率密度函数为
$F_{Y}(y)=\left[F_{X}(y)\right]^{n}$
$p_{Y}(y)=n\left[F_{X}(y)\right]^{n-1} p_{X}(y)$
最小值 $Z=min\{ X_1, X_2, \cdots, X_n \}$ 的分布函数,和概率密度函数为
$F_{z}(z)=1-\left[1-F_{X}(z)\right]^{n}$
$p_{z}(z)=n\left[1-F_{X}(z)\right]^{n-1} p_{X}(z)$
在概率论中把寻求独立随机变量和的分布的运算称为卷积运算
泊松分布的卷积

$\sim P\left(\lambda_{1}\right), Y \sim P\left(\lambda_{2}\right)$
且X,Y独立,则 $\sim P\left(\lambda_{1}+\lambda_{2}\right)$
二项分布的卷积. $\sim b(n, p), Y \sim b(m, p)$ 且X,Y独立,则
$\sim b(n+m, p)$
注意,两个分布的p必须相同.不然是无法卷积的.p可被认为是尺度.不同的尺度不能卷积.
卷积公式:设 X 与 Y
为两个相互独立的连续随机变量,其密度函数为 $p_X(x),p_Y(y)$ ,则 $Z = X + Y$ 的概率密度函数为
$p_{z}(z)=\int_{-\infty}^{\infty} p_{x}(z-y) p_{y}(y) d y$ 证明:
$\begin{aligned} F_{z}(z) &=P(X+Y \leqslant z)=\iint_{x+Y \leqslant z} p_{X}(x) p_{Y}(y) d x d y \\ &=\int_{-\infty}^{\infty}\left\{\int_{-\infty}^{z-y} P_{X}(x) d x\right\}p_Y(y) d y \\ &=\int_{-\infty}^{\infty} F_{X}(z-y) p_{Y}(y) d y \end{aligned}$
独立的正态分布的卷积.
$\sim N\left(\mu_{1}+\mu_{2}, \sigma_{1}^{2}+\sigma_{2}^{2}\right)$
伽马分布的卷积,独立下.
$\sim G a\left(\alpha_{1}+\alpha_{2}, \lambda\right)$
$\lambda$ 是尺度信息,不同尺度不能卷积.
$\chi^2$ 分布的由来,独立同分布 $N (0, 1)$ ,的随机变量 $X_1,X_2,\cdots, X_n$ .它们的组合 $Y=X_1^2+X_2^2+\cdots+X_n^2$ 服从自由度为n的 $\chi^2$ 分布.设 $Z=X_1^2$ 的概率密度函数.
$p_{Z}(z)=\left\{\begin{array}{ll}\frac{1}{\sqrt{2 \pi}} z^{-\frac{1}{2}} e^{-z / 2}, & z>0 \\ 0, & z \leqslant 0\end{array}\right.$

由此可见,这正是一个伽马分布 $Ga(\frac{1}{2}, \frac{1}{2})$ ,如此以来 $Y$ 的概率密度函数为
$p_{n}(y)=\left\{\begin{array}{ll}\frac{1}{2^{n / 2} \Gamma\left(\frac{n}{2}\right)} y^{\frac{n}{2}-1} e^{-y / 2}, & y>0 \\ 0, & y \leqslant 0\end{array}\right.$

实际上是 $Ga(\frac{n}{2},\frac{1}{2})$ ,这正是自由度为n的 $\chi^2$ 分布.
二维随机变量的期望

$E[g(X,Y)]=\sum_{i}\sum_{j}g(x_i,y_j)P(X=x_i,Y=y_j).$
$E[g(X,Y)]=\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}g(x,y)p(x,y)dxdx}$
$E (X + Y) = E (X) + E (Y)$ ,注意这个是不需要独立就可以成立的.
$E\left(X_{1}+X_{2}+\cdots+X_{n}\right)=E\left(X_{1}\right)+E\left(X_{2}\right)+\cdots+E\left(X_{n}\right)$
二维独立随机变量

$E (X Y) = E (X) E (Y)$ $Var(X\pm Y)=Var(X)+Var(Y)$
对于 $\chi^2(n)$ 分布.
$E\left(\chi^{2}\right)=E\left(X_{1}^{2}\right)+E\left(X_{2}^{2}\right)+\cdots+E\left(X_{n}^{2}\right)=n$
$\operatorname{Var}\left(\chi^{2}\right)=\operatorname{Var}\left(X_{1}^{2}\right)+\operatorname{Var}\left(X_{2}^{2}\right)+\cdots+\operatorname{Var}\left(X_{n}^{2}\right)=2 n$
协方差 $\operatorname{Cov}(X, Y)=E[(X-E X)(Y-E Y)]$
$\operatorname{Cov}(X, Y)=\operatorname{Cov}(Y, X)$

$\operatorname{Cov}(X, Y)=E(X Y)-E(X) E(Y)$

如果X,Y独立.那么 $C o v (X, Y) = 0$
如果 $\operatorname{Var}(X)=\sigma_{X}^{2}, \operatorname{Var}(Y)=\sigma_{Y}^{2}$ ,有
$[\operatorname{Cov}(X, Y)]^{2} \leqslant \sigma_{X}^{2} \sigma_{Y}^{2}$
$Var(X\pm Y)=Var(X)+Var(Y)\pm 2Cov(X,Y)$
线性相关系数
$\operatorname{Corr}(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sigma_{X} \sigma_{Y}}$
注意这个系数反应不出非线性关系.它是反应的线性相关性.

$C o r r (X, Y) > 0$ ,正相关.

$C o r r (X, Y) < 0$ ,负相关.

$C o r r (X, Y) = 0$ ,非线性相关.

对于二维正态分布. $\sim N\left(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho\right)$ ,
而 $\rho$ 就是X,Y的相关系数.
$-1\leqslant Corr(X,Y)\leqslant 1$
$Corr(X,Y)=\pm 1$ 的充要条件是X与Y间几乎出处有线性关系.
如果X,Y独立, $C o r r (X, Y) = 0$ ,反之却不.比如. $X\sim N(0,1),Y=X^2$
计算出它的相关系数. $C o v (X, Y) = 0 .$
但是这两个随机变量却含有二次相关性.

在这里插入图片描述

105. 条件分布与条件期望示意图

在这里插入图片描述

给定 $Y=y_j$ 下,X的条件分布.
$P(X=x_i|Y=y_j)=\frac{p_{ij}}{p_{\cdot j}},i=1,2,\cdots$
给定 $X=x_j$ 下,Y的条件分布.
$P(Y=y_i|x_j)=\frac{p_{ij}}{p_{j\cdot}}$
连续随机变量的条件分布

$p(x|y)=\frac{p(x,y)}{p_Y(y)}$ $p(y|x)=\frac{p(x,y)}{p_X(x)}$

二维正态分布的条件分布仍然为正态分布.
如何构造联合分布.

由实际数据归纳而得联合分布 $p (x, y)$ .

由独立性 $p(x,y)=p_X(x)p_Y(y)$

由条件分布来构建联合分布 $p(x,y)=p_X(x)p(y|x)$
$p(x,y)=p(x|y)p_Y(y)$

贝叶斯公式的概率密度函数形式
$\begin{aligned} p(x | y) &=\frac{p(y | x) p_{x}(x)}{p_{Y}(y)} \\ &=\frac{p(y | x) p_{X}(x)}{\int_{-\infty}^{x} p(y | x) p_{X}(x) d x} \end{aligned}$

条件期望

$y)=\left\{\begin{array}{l}\sum_{i} x_{i} P\left(X=x_{i} | Y=y\right) \\ \int_{-\infty}^{\infty} x p(x | y) d x\end{array}\right.$

条件期望的性质

$E\left(a_{1} X_{1}+a_{2} X_{2} | y\right)=a_{1} E\left(X_{1} | y\right)+a_{2} E\left(X_{8} | y\right)$

条件期望的函数形式
$y]=\left\{\begin{array}{l}\sum_{i} g\left(x_{i}\right) P\left(X=x_{i} | Y=y\right) \\ \int_{-\infty}^{\infty} g(x) p(x | y) d x\end{array}\right.$

条件期望的期望 $E [E [X ∣ Y]] = E [X]$
中心极限定理:n个独立同分布的随机变量之和近似于正态分布.n越大越近似.
设 $E(X_i)=\mu,Var[X_i]=\sigma^2$ .则
$Y_n^{*}=\frac{X_1+ X_2+ \cdots+ X_n -n\mu}{\sqrt{n}\sigma}$
在 $\rightarrow \infty$ 时,上式收敛于标准正态分布.
$\lim _{n \rightarrow \infty} P\left(Y_{n}^{*} \leqslant y\right)=\Phi(y)$
随机变量 $Y_n\sim b(n,p)$ .则 $Y_n^{*}=(Y_n-np)/\sqrt{np(1-p)}$ ,满足
$\lim _{n \rightarrow \infty} P\left(\frac{Y_{n}-n P}{\sqrt{n p(1-p)}} \leqslant y\right)=\Phi(y)$
独立不同分布时,假如 $E(X_n)=\mu_n,Var(X_n)=\sigma_n^2, n=1,2,\cdots$ .
$\lim _{n \rightarrow \infty} \frac{1}{B_{n}^{3}} \sum_{i=1}^{n} E\left(\left|X_{i}-\mu_{i}\right|^{3}\right)=0$
$\lim _{n \rightarrow \infty} P\left(\frac{1}{B_{n}} \sum_{i=1}^{n}\left(X_{i}-\mu_{i}\right) \leqslant y\right)=\Phi(y)$
其中B是中心距.
$B_{k}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{k}, k=2,3, \cdots$

luixiao1220

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
(概率论与数理统计)ch03

n维随机变量的联合分布函数F(x1,x2,⋯ ,xn)=P(X1⩽x1,X2⩽x2,⋯ ,Xn⩽xn)F(x_1,x_2,\cdots, x_n)=P(X_1\leqslant x_1,X_2\leqslant x_2,\cdots,X_n\leqslant x_n)F(x1,x2,⋯,xn)=P(X1⩽x1,X2⩽x2,⋯,Xn⩽xn)边缘分布函数lim⁡x→∞F...
复制链接

扫一扫

专栏目录