概率论与数理统计-第二部分

概率论与数理统计-第二部分

4 一维随机变量

4.1 分布函数

4.1.1 定义与充要条件

定义：

F X ( x ) = P { X ⩽ x }   , x ∈ R F_{_{X}}(x)=P\{X\leqslant x\}\ ,x\in\mathbb{R} FX​​(x)=P{X⩽x} ,x∈R

充要条件：

同时满足：

1. 值域有界：$$0=F(-\infty )⩽F(x)⩽F(+\infty )=1$$

2. 单调不减：$$\forall x_1<x_2:F(x_1)⩽F(x_2)$$

3. 右连续性：$$F(x)=F(x+0)$$

4.1.2 概率计算

∀ x ∈ R : P { X = x 0 } = F ( x 0 ) − F ( x 0 − 0 ) = F ∈ C ( U ( x 0 , δ ) ) 0 \forall x\in\mathbb{R}:P\{X=x_0\}=F(x_0)-F(x_0-0)\xlongequal{F\in C(U(x_0,\delta))}0 ∀x∈R:P{X=x0​}=F(x0​)−F(x0​−0)F∈C(U(x0​,δ)) 0

∀ x 1 < x 2 : P { x 1 < X ⩽ x 2 } = P { X ⩽ x 2 } − P { X ⩽ x 1 } = F ( x 2 ) − F ( x 1 ) \forall x_1<x_2:P\{x_1<X\leqslant x_2\}=P\{X\leqslant x_2\}-P\{X\leqslant x_1\}=F(x_2)-F(x_1) ∀x1​<x2​:P{x1​<X⩽x2​}=P{X⩽x2​}−P{X⩽x1​}=F(x2​)−F(x1​)

4.1.3 分布函数判别

1. $F(ax+b):a>0$ 仍为分布函数，$a<0$ 非分布函数.

2. $a_{1}F(x)+a_{2}F(x),a_1+a_2=1,a_i⩾0$ 仍为分布函数.

3. $F_1(x)F_2(x),1-[1-F_1(x)][1-F_2(x)]$ 仍为分布函数.

4.1.4 最值函数

最大值：
F Z ( z ) = P { max ⁡ ( X , Y ) ⩽ z } = P { X ⩽ z , Y ⩽ z } = X , Y 互独 P { X ⩽ z } P { Y ⩽ z } = F X ( z ) F Y ( z ) = X , Y 同分布 [ F X ( z ) ] 2 \begin{aligned} F_{_Z}(z)&=P\{\max(X,Y)\leqslant z\}=P\{X\leqslant z,Y\leqslant z\} \\&\xlongequal{X,Y互独}P\{X\leqslant z\}P\{Y\leqslant z\} =F_{_X}(z)F_{_Y}(z) \\&\xlongequal{X,Y同分布}[F_{_X}(z)]^2 \end{aligned} FZ​​(z)​=P{max(X,Y)⩽z}=P{X⩽z,Y⩽z}X,Y互独 P{X⩽z}P{Y⩽z}=FX​​(z)FY​​(z)X,Y同分布 [FX​​(z)]2​

U = max ⁡ { X 1 , X 2 , ⋯   , X n }   ,   F U ( x ) = X i 独立同分布 [ F X ( x ) ] n U=\max\{X_1,X_2,\cdots,X_n\}\ ,\ F_{_U}(x)\xlongequal{X_i独立同分布}[F_{_X}(x)]^n U=max{X1​,X2​,⋯,Xn​} , FU​​(x)Xi​独立同分布 [FX​​(x)]n

最小值：
F Z ( z ) = P { min ⁡ ( X , Y ) ⩽ z } = P { ( X ⩽ z ) ∪ ( Y ⩽ z ) } = X , Y 互独 P { X ⩽ z } + P { Y ⩽ z } − P { X ⩽ z , Y ⩽ z } = F X ( z ) + F Y ( z ) − F ( z , z ) = X , Y 互独 F X ( z ) + F Y ( z ) − F X ( z ) F Y ( z ) \begin{aligned} F_Z(z)&=P\{\min(X,Y)\leqslant z\}=P\{(X\leqslant z)\cup (Y\leqslant z)\} \\&\xlongequal{X,Y互独}P\{X\leqslant z\}+P\{Y\leqslant z\}-P\{X\leqslant z,Y\leqslant z\} \\&=F_X(z)+F_Y(z)-F(z,z) \\&\xlongequal{X,Y互独}F_X(z)+F_Y(z)-F_X(z)F_Y(z) \end{aligned} FZ​(z)​=P{min(X,Y)⩽z}=P{(X⩽z)∪(Y⩽z)}X,Y互独 P{X⩽z}+P{Y⩽z}−P{X⩽z,Y⩽z}=FX​(z)+FY​(z)−F(z,z)X,Y互独 FX​(z)+FY​(z)−FX​(z)FY​(z)​

F Z ( z ) = P { min ⁡ ( X , Y ) ⩽ z } = 1 − P { X > z , Y > z } = X , Y 互独 1 − P { X > z } P { Y > z } = 1 − [ 1 − F X ( z ) ] [ 1 − F Y ( z ) ] = X , Y 互独 1 − [ 1 − F X ( z ) ] 2 \begin{aligned} F_{_Z}(z)&=P\{\min(X,Y)\leqslant z\}=1-P\{X>z,Y>z\} \\&\xlongequal{X,Y互独}1-P\{X>z\}P\{Y>z\} \\&=1-[1-F_{_X}(z)][1-F_{_Y}(z)]\xlongequal{X,Y互独}1-[1-F_{_X}(z)]^2 \end{aligned} FZ​​(z)​=P{min(X,Y)⩽z}=1−P{X>z,Y>z}X,Y互独 1−P{X>z}P{Y>z}=1−[1−FX​​(z)][1−FY​​(z)]X,Y互独 1−[1−FX​​(z)]2​

V = max ⁡ { X 1 , X 2 , ⋯   , X n }   , F V ( x ) = X i :   I . I . D . 1 − [ 1 − F X ( x ) ] n V=\max\{X_1,X_2,\cdots,X_n\}\ ,F_{_V}(x)\xlongequal{X_i:\ I.I.D.}1-[1-F_{_X}(x)]^n V=max{X1​,X2​,⋯,Xn​} ,FV​​(x)Xi​: I.I.D. 1−[1−FX​​(x)]n

4.2 随机变量

4.2.1 离散型

4.2.1.1 分布律及充要条件

X ∼ P { X = x i } = p i   ( i ∈ N + ) ⇔ { p i ⩾ 0 ∑ i = 1 ∞ p i = 1 X\sim P\{X=x_i\}=p_i\ (i\in\mathbb{N}^+) \Leftrightarrow \left\{\begin{array}{l} p_i\geqslant 0\\ \\ \sum\limits_{i=1}^{\infty}p_i=1\\ \end{array}\right. X∼P{X=xi​}=pi​ (i∈N+)⇔⎩ ⎨ ⎧​pi​⩾0i=1∑∞​pi​=1​

二者分别称：非负性、正则性(规范性)

4.2.1.2 分布函数

F ( x ) = P { X ⩽ x } = ∑ x i ⩽ x P { X = x i } F(x)=P\{X\leqslant x\}=\sum_{x_i\leqslant x}P\{X=x_i\} F(x)=P{X⩽x}=xi​⩽x∑​P{X=xi​}

4.2.2 连续型

4.2.2.1 概率密度

充要条件：
$$X\sim f_{{}_X}(x)\iff \{\begin{array}{l}f(x)⩾0\\ \\ {\int }_{-\infty }^{+\infty }f(x)\mathrm{d}x=1\end{array}$$

性质：

1. ∀ x 1 < x 2   , P { x 1 < X ⩽ x 2 } = F ( x 2 ) − F ( x 1 ) = ∫ x 1 x 2 f ( t ) d t \displaystyle \forall x_1<x_2\ ,P\{x_1<X\leqslant x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(t)\mathrm{d}t ∀x1​<x2​ ,P{x1​<X⩽x2​}=F(x2​)−F(x1​)=∫x1​x2​​f(t)dt

2. 有限个点不影响区间面积，即概率，故
   (1) P { X = x 0 } = F ( x 0 ) − F ( x 0 − 0 ) = F 在 x 0 处连续 0 P\{X=x_0\}=F(x_0)-F(x_0-0)\xlongequal{F在x_0处连续} 0 P{X=x0​}=F(x0​)−F(x0​−0)F在x0​处连续 0
   (2) P { a < X < b } = P { a ⩽ x ⩽ b } = P { a < x ⩽ b } = P { a ⩽ x < b } P\{a<X<b\}=P\{a\leqslant x\leqslant b\}=P\{a<x\leqslant b\}=P\{a\leqslant x<b\} P{a<X<b}=P{a⩽x⩽b}=P{a<x⩽b}=P{a⩽x<b}

3. $f(x)$ 在 $x$ 处连续，则 $F^{\prime }(x)=f(x)$

4. (1) $F(x)$ 必连续，$f(x)$ 未必(函数连续可积性质)
   (2) $F(x)$ 不连续则非连续型，无概率密度.
   例如： F ( x ) = { 0 , x < 0 x / 2 , 0 ⩽ x < 1 1 , x ⩾ 1 , P { X = 1 } = F ( 1 ) − F ( 1 − 0 ) = 1 2 \displaystyle F(x)=\left\{ \begin{array}{l}0\quad,x<0\\ x/2,0\leqslant x<1\\1\quad,x\geqslant 1\\\end{array}\right.,P\{X=1\}=F(1)-F(1-0)=\frac{1}{2} F(x)=⎩ ⎨ ⎧​0,x<0x/2,0⩽x<11,x⩾1​,P{X=1}=F(1)−F(1−0)=21​ 为混合型.

概率密度判别：

1. $af(ax+b)$ 仍为密度，因为 ${\int }_{-\infty }^{+\infty }f(ax+b)\mathrm{d}(ax+b)=1$.

2. $a_1{f}_1(x)+a_{2}f(x_2),a_1+a_2=1,a_i⩾0$ 仍为密度 .

3. $f_1(x)\cdot f_2(x)$ 未必是密度.

4. $f_1(x)F_1(x)+f_2(x)F_2(x)=\frac{\mathrm{d}[F_1(x)F_2(x)]}{\mathrm{d}x}$ 仍为密度.

4.2.2.2 分布函数

F ( x ) = P { X ⩽ x } = ∫ − ∞ x f ( t ) d t , f ( x ) ⩾ 0 P { X < x } = F ( x − 0 ) F(x)=P\{X\leqslant x\}=\int_{-\infty}^{x}f(t)\mathrm{d}t,f(x)\geqslant 0 \\{} \\P\{X<x\}=F(x-0) F(x)=P{X⩽x}=∫−∞x​f(t)dt,f(x)⩾0P{X<x}=F(x−0)

4.2.2.3 推论

$X\sim F_{{}_X}(x)\in C(\mathbb{R})\Rightarrow Y=F_{{}_X}(X)\sim U(0,1)$

proof:
$\forall y\in [0,1]:$
P { Y = F X ( X ) ⩽ y } = P { X ⩽ F X − 1 ( y ) } = F X [ F X − 1 ( y ) ] = y P\{Y=F_{_X}(X)\leqslant y\}=P\{X \leqslant F_{_X}^{-1}(y)\}=F_{_X}[F_{_X}^{-1}(y)]=y P{Y=FX​​(X)⩽y}=P{X⩽FX​−1​(y)}=FX​​[FX​−1​(y)]=y

故 $$Y=F_{{}_X}(X)\sim U(0,1)$$

4.3 Y=g(X) 概率分布

4.3.1 离散型

P { X = x i } = p i   ⇒   Y = g ( X )     P { Y = g ( x i ) } = p i P\{X=x_i\}=p_i \ \xRightarrow{\ Y=g(X)\ }\ P\{Y=g(x_i)\}=p_i P{X=xi​}=pi​  Y=g(X)  ​ P{Y=g(xi​)}=pi​

4.3.2 连续型

mathod1:(图像)

$Y=g(X)\subset (\alpha ,\beta )$，由 $Y=y$ 确定 $g(X)⩽y$ 的 $X$ 范围，

1. $y<\alpha ,F_{{}_Y}(y)=0$
2. $y⩾\beta ,F_{{}_Y}(y)=1$
3. α ⩽ y < β , P { g ( X ) ⩽ y } = P { φ 1 ( y ) ⩽ X ⩽ φ 2 ( y ) } = ∫ φ 1 ( y ) φ 2 ( y ) f X ( t ) d t ⇒ { 可积：直接计算分布函数 不可积：变限积分求导，求解概率密度 \displaystyle\alpha\leqslant y< \beta,P\{g(X)\leqslant y\}=P\{\varphi_1(y)\leqslant X\leqslant \varphi_2(y)\}=\int_{\varphi_1(y)}^{\varphi_2(y)}f_{_X}(t)\mathrm{d}t \\ \Rightarrow \left\{\begin{array}{l}可积：直接计算分布函数\\ 不可积：变限积分求导，求解概率密度\end{array}\right. α⩽y<β,P{g(X)⩽y}=P{φ1​(y)⩽X⩽φ2​(y)}=∫φ1​(y)φ2​(y)​fX​​(t)dt⇒{可积：直接计算分布函数不可积：变限积分求导，求解概率密度​

mathod2:(公式)
F Y ( y ) = P { Y = g ( X ) ⩽ y } = P { X ⩽ g − 1 ( y ) } = F X [ g − 1 ( y ) ] = ∫ − ∞ g − 1 ( y ) f X ( t ) d t F_{_Y}(y)=P\{Y=g(X)\leqslant y\}=P\{X\leqslant g^{-1}(y)\}=F_{_X}[g^{-1}(y)]=\int_{-\infty}^{g^{-1}(y)}f_{_X}(t)\mathrm{d}t FY​​(y)=P{Y=g(X)⩽y}=P{X⩽g−1(y)}=FX​​[g−1(y)]=∫−∞g−1(y)​fX​​(t)dt

$$f_{{}_Y}(y)=\{\begin{array}{l}{F}_{{}_Y}^{\prime }(y)={\left[{\int }_{-\infty }^{g^{-1}(y)}{f}_{{}_X}(t)\mathrm{d}t\right]}^{\prime }=f_{{}_X}[g^{-1}(y)]\cdot |[g^{-1}(y){]}^{\prime }|,y\in I\\ 0,otherwise\end{array}$$
Tips: 此处反函数仅展示运算过程，实际反函数未必存在。

4.3.3 混合型

不存在分布律和密度，仅求解 $F_{{}_Y}(y)$.

5 二维随机变量

5.1 分布函数

5.1.1 联合分布函数

定义：
F ( x , y ) = P { ( X ⩽ x ) ∩ ( Y ⩽ y ) } = P { X ⩽ x , Y ⩽ y }   ( x , y ∈ R ) F(x,y)=P\{(X\leqslant x)\cap (Y\leqslant y)\}=P\{X\leqslant x,Y\leqslant y\}\ (x,y\in\mathbb{R}) F(x,y)=P{(X⩽x)∩(Y⩽y)}=P{X⩽x,Y⩽y} (x,y∈R)

值域：
$$0⩽\begin{array}{l}F(-\infty ,y)\\ F(x,-\infty )\\ F(-\infty ,+\infty )\end{array}⩽F(x,y)⩽F(-\infty ,+\infty )=1$$

右连续性：
$$F(x,y)=F(x+0,y)=F(x,y+0)$$

区域计算：
P { ( X , Y ) ∈ D } = P { x 1 < X ⩽ x 2   ,   y 1 < Y ⩽ y 2 } = F ( x 2 , y 2 ) − F ( x 2 , y 1 ) + F ( x 1 , y 1 ) − F ( x 1 , y 2 ) \begin{aligned} P\{(X,Y)\in D\}&=P\{x_1<X\leqslant x_2\ ,\ y_1<Y\leqslant y_2\} \\&=F(x_2,y_2)-F(x_2,y_1)+F(x_1,y_1)-F(x_1,y_2) \end{aligned} P{(X,Y)∈D}​=P{x1​<X⩽x2​ , y1​<Y⩽y2​}=F(x2​,y2​)−F(x2​,y1​)+F(x1​,y1​)−F(x1​,y2​)​

5.1.2 边缘分布函数

F X ( x ) = P { X ⩽ x } = P { X ⩽ x , Y ⩽ + ∞ } = F ( x , + ∞ ) F Y ( y ) = P { Y ⩽ y } = P { X ⩽ + ∞ , Y ⩽ y } = F ( + ∞ , y ) \begin{aligned} F_{_X}(x)&=P\{X\leqslant x\}=P\{X\leqslant x,Y\leqslant +\infty\}=F(x,+\infty) \\ \\F_{_Y}(y)&=P\{Y\leqslant y\}=P\{X\leqslant +\infty,Y\leqslant y\}=F(+\infty,y) \end{aligned} FX​​(x)FY​​(y)​=P{X⩽x}=P{X⩽x,Y⩽+∞}=F(x,+∞)=P{Y⩽y}=P{X⩽+∞,Y⩽y}=F(+∞,y)​

5.2 概率密度

5.2.1 离散型

5.2.1.1 联合概率分布

$\begin{array}{cc}{p}_{ij}⩾0& y\\ & \\ x& \end{array}$	$y_1$	$y_2$	$\cdots$	$y_n$	$\cdots$	$p_{i\cdot }=\sum _{i=1}^{\infty }{p}_{ij}=1$
$x_1$	$p_{11}$	$p_{12}$	$\cdots$	$p_{1n}$	$\cdots$	$p_{1\cdot }$
$x_2$	$p_{21}$	$p_{22}$	$\cdots$	$p_{2n}$	$\cdots$	$p_{2\cdot }$
$⋮$	$⋮$	$⋮$		$⋮$		$⋮$
$x_n$	$p_{n1}$	$p_{n2}$	$\cdots$	$p_{nm}$	$\cdots$	$p_{m\cdot }$
$⋮$	$⋮$	$⋮$		$⋮$		$⋮$
$p_{\cdot j}=\sum _{j=1}^{\infty }{p}_{ij}=1$	$p_{\cdot 1}$	$p_{\cdot 2}$	$\cdots$	$p_{\cdot n}$	$\cdots$	$\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }{p}_{ij}=1$

5.2.1.2 条件概率分布

P { X = x i ∣ Y = y i } = P { X = x i , Y = y i } P { Y = y i } = p i j p ⋅ j P { Y = y i ∣ X = x i } = P { Y = y i , X = x i } P { X = x i } = p i j p i ⋅ P\{X=x_i|Y=y_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{Y=y_i\}}=\frac{p_{ij}}{p_{\cdot j}} \\{} \\P\{Y=y_i|X=x_i\}=\frac{P\{Y=y_i,X=x_i\}}{P\{X=x_i\}}=\frac{p_{ij}}{p_{i \cdot }} P{X=xi​∣Y=yi​}=P{Y=yi​}P{X=xi​,Y=yi​}​=p⋅j​pij​​P{Y=yi​∣X=xi​}=P{X=xi​}P{Y=yi​,X=xi​}​=pi⋅​pij​​

5.2.2 连续型

5.2.2.1 联合概率密度

定义：
$F$ 为分布函数，$\exists 0<f\in R,s.t.F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)\mathrm{d}u\mathrm{d}v$

性质：

1. $f(x,y)⩾0,{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(u,v)\mathrm{d}u\mathrm{d}v=F(+\infty ,+\infty )=1$
2. $P\{(X,Y)\in G\}={\iint }_{{}_G}f(x,y)\mathrm{d}x\mathrm{d}y$
3. $f(x,y)$ 在 $(x,y)$ 连续，则 $\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=f(x,y)$

5.2.2.2 边缘概率密度

$$\begin{gathered} F_{{}_X}(x)={\int }_{-\infty }^x\left[{\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}y\right]\mathrm{d}x\Rightarrow f_{{}_X}(x)={\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}y \\ {F}_{{}_Y}(y)={\int }_{-\infty }^y\left[{\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}x\right]\mathrm{d}y\Rightarrow f_{{}_Y}(y)={\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}x \end{gathered}$$

5.2.2.2 条件概率密度

$$\begin{array}{rl}{F}_{{}_{Y|X}}(y|x)={\int }_{-\infty }^y\frac{f(x,t)}{f_{{}_X}(x)}\mathrm{d}t& \Rightarrow f_{{}_{Y|X}}(y|x)=\frac{f(x,y)}{f_{{}_X}(x)},f_{{}_X}(x)>0\\ & \\ F_{{}_{X|Y}}(x|y)={\int }_{-\infty }^x\frac{f(t,y)}{f_{{}_Y}(y)}\mathrm{d}t& \Rightarrow f_{{}_{X|Y}}(x|y)=\frac{f(x,y)}{f_{{}_Y}(y)},f_{{}_Y}(y)>0\end{array}$$

注意：求解应确保作为条件的边缘概率为正，除去边缘概率为零的点.

5.3 独立

X , Y 互独 ⇔ d e f P { X ⩽ x , Y ⩽ y } = P { X ⩽ x } P { Y ⩽ y } ⇔ F ( x , y ) = F X ( x ) F Y ( y ) ⇔   离散型   P { X = x i , Y = y i } = P { X = x i } P { Y = y i } ⇔   连续型   f ( x , y ) = f X ( x ) f Y ( y ) ⇔   条件密度 f X ∣ Y ( x ∣ y ) = f X ( x ) ⇒ ⇍   f ( X )   ,   g ( Y ) \begin{aligned} X,Y 互独 &\xLeftrightarrow{\mathrm{def}} P\{X\leqslant x,Y\leqslant y\}=P\{X\leqslant x\}P\{Y\leqslant y\} \\&\Leftrightarrow F(x,y)=F_{_X}(x)F_{_Y}(y) \\&\xLeftrightarrow{\ _{离散型}\ } P\{X=x_i,Y=y_i\}=P\{X=x_i\}P\{Y=y_i\} \\&\xLeftrightarrow{\ _{连续型}\ } f(x,y)=f_{_X}(x)f_{_Y}(y) \\&\xLeftrightarrow{\ _{条件密度}} f_{_{X|Y}}(x|y)=f_{_X}(x) \\&\begin{array}{l}\Rightarrow\\ \nLeftarrow\\\end{array}\ f(X)\ ,\ g(Y) \end{aligned} X,Y互独​def ​P{X⩽x,Y⩽y}=P{X⩽x}P{Y⩽y}⇔F(x,y)=FX​​(x)FY​​(y) 离散型​  ​P{X=xi​,Y=yi​}=P{X=xi​}P{Y=yi​} 连续型​  ​f(x,y)=fX​​(x)fY​​(y) 条件密度​ ​fX∣Y​​(x∣y)=fX​​(x)⇒⇍​ f(X) , g(Y)​

5.4 r.v.函数

F Z ( z ) = P { g ( X , Y ) ⩽ z } = { ∑ g ( x i , y i ) ⩽ z p i j ∬ g ( x i , y i ) ⩽ z f ( x , y ) d x d y = X , Y 互独 { ∑ g ( x i , y i ) ⩽ z p i p j ∬ g ( x i , y i ) ⩽ z f X ( x ) f Y ( y ) d x d y F_{_Z}(z)=P\{g(X,Y)\leqslant z\}=\left\{\begin{array}{l}{\displaystyle \sum\limits_{g(x_i,y_i)\leqslant z}}p_{ij}\\ \\ {\displaystyle \iint\limits_{g(x_i,y_i)\leqslant z}f(x,y)\mathrm{d}x\mathrm{d}y}\\ \end{array}\right. \xlongequal{X,Y互独}\left\{\begin{array}{l} {\displaystyle \sum\limits_{g(x_i,y_i)\leqslant z}}p_ip_j\\ \\ {\displaystyle \iint\limits_{g(x_i,y_i)\leqslant z}f_{_X}(x)f_{_Y}(y)\mathrm{d}x\mathrm{d}y}\\ \end{array}\right. FZ​​(z)=P{g(X,Y)⩽z}=⎩ ⎨ ⎧​g(xi​,yi​)⩽z∑​pij​g(xi​,yi​)⩽z∬​f(x,y)dxdy​X,Y互独 ⎩ ⎨ ⎧​g(xi​,yi​)⩽z∑​pi​pj​g(xi​,yi​)⩽z∬​fX​​(x)fY​​(y)dxdy​

6 数字特征

6.1 期望

定义：
$E(X)=\sum _{i=1}^{\infty }{x}_i{p}_i={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x$ 绝对收敛

性质：

1. $E(C)=C\in \mathbb{R}$
2. $E(CX)=CE(X)$
3. $E(X\pm Y)=E(X)\pm E(Y)$
4. $X,Y$ 独立 $\Rightarrow E(XY)=E(X)E(Y)\iff {\rho }_{XY}=0$，即 $X,Y$不相关
5. $E(X^2)=D(X)+[E(X){]}^2;E(X^n)$ 则使用定义式，注意奇偶性化简

r.v.函数：
$$E(Y)=E[g(X)]=\{\begin{array}{l}\sum _{i=1}^{\infty }g(x_i)p_i\\ \\ {\int }_{-\infty }^{+\infty }g(x)f(x)\mathrm{d}x\end{array}$$

$$E(Z)=E[g(X,Y)]=\{\begin{array}{l}\sum _{j=1}^{\infty }\sum _{i=1}^{\infty }g(x_i,y_i)p_{ij}\\ \\ {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y\end{array}$$

重期望公式：
$$E(X)=E(E(X|Y))$$

6.2 方差

定义：
$$\mathrm{Var}(X)=D(X)\stackrel{\mathrm{def}}{=}E\{[X-E(X){]}^2\}=E(X^2)-[E(X){]}^2$$

标准化r.v.：
$$E\left(\frac{X-EX}{\sqrt{DX}}\right)=0,D\left(\frac{X-EX}{\sqrt{DX}}\right)=1$$

性质：

1. $D(C)=0$
2. $D(CX)=C^{2}D(X)$
3. $D(X\pm Y)=D(X)+D(Y)\pm 2\mathrm{Cov}(X,Y)\stackrel{独立\Rightarrow 不相关}{=}D(X)+D(Y)$
4. D ( X ) = 0 ⇔ P { X = E ( X ) } = 1 D(X)=0\Leftrightarrow P\{X=E(X)\}=1 D(X)=0⇔P{X=E(X)}=1

6.3 协方差

定义：
$$\mathrm{Cov}(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-E(X)E(Y)$$

性质：

1. $\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$
2. $\mathrm{Cov}(X,X)=D(X)$
   $D(X\pm Y)=D(X)+D(Y)\pm 2\mathrm{Cov}(X,Y)$
   $D\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}D(X_i)+\sum _{1⩽i<j⩽n}2\mathrm{Cov}(X_i,X_j)$
3. $\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y)$
4. $\mathrm{Cov}(X_1+X_2,Y)=\mathrm{Cov}(X_1,Y)+\mathrm{Cov}(X_2,Y)$

6.4 线性相关系数

定义：
$${\rho }_{{}_{XY}}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

性质：

1. $|{\rho }_{{}_{XY}}|⩽1$
2. ∣ ρ X Y ∣ = 1 ⇔ ∃   a , b ∈ R , s . t .   P { Y = a X + b } = 1 |\rho_{_{XY}}|= 1 \Leftrightarrow \exists\ a,b\in\mathbb{R},\mathrm{s.t.}\ P\{Y=aX+b\}=1 ∣ρXY​​∣=1⇔∃ a,b∈R,s.t. P{Y=aX+b}=1，且 ${\rho }_{{}_{XY}}=\{\begin{array}{l}1,a>0\\ -1,a<0\end{array}$

独立/不相关的结论：

1. $X,Y$ 独立 $(P(XY)=P(X)P(Y))\begin{array}{l}\Rightarrow \\ \nLeftarrow \end{array}X,Y$ 不相关 $\iff {\rho }_{{}_{XY}}=0\{\begin{array}{l}\iff \mathrm{Cov}(X,Y)=0\\ \iff E(XY)-E(X)E(Y)=0\\ \iff D(X\pm Y)=D(X)\pm D(Y)\end{array}$

Tips: 不相关即二者无线性关系，但可能存在非线性关系；独立即不存在任何关系.

2. $(X,Y)\sim N;X,Y$ 独立 $\iff X,Y$ 不相关
3. $X,Y\sim B(1,p);X,Y$ 独立 $\iff X,Y$ 不相关

6.5 矩

$k$ 阶原点矩：$E(X^k)$
$k$ 阶中心矩：$E\{[X-E(X){]}^k\}$
$k+l$ 阶混合矩：$E(X^k{Y}^l),E[(X-EX{)}^k(Y-EY{)}^l]$

---

附录

概率论与数理统计-第一部分
概率论与数理统计-第三部分