3.4.3 协方差
二维联合分布中除含有各分量的边际分布外, 还含有两个分量间相互关系的信息.
描述这种相互关联程度的一个特征数就是协方差, 它的定义如下:
定义 3.4.1 设
(
X
,
Y
)
(X, Y)
(X,Y) 是一个二维随机变量, 若
E
[
(
X
−
E
(
X
)
)
(
Y
−
E
(
Y
)
)
]
E[(X-E(X))(Y-E(Y))]
E[(X−E(X))(Y−E(Y))]
存在,则称此数学期望为
X
X
X 与
Y
Y
Y 的协方差, 或称为
X
X
X 与
Y
Y
Y 的相关
(中心) 矩, 并记为
Cov
(
X
,
Y
)
=
E
[
(
X
−
E
(
X
)
)
(
Y
−
E
(
Y
)
)
]
.
\operatorname{Cov}(X, Y)=E[(X-E(X))(Y-E(Y))] .
Cov(X,Y)=E[(X−E(X))(Y−E(Y))].
特别有
Cov
(
X
,
X
)
=
Var
(
X
)
\operatorname{Cov}(X, X)=\operatorname{Var}(X)
Cov(X,X)=Var(X).
从协方差的定义可以看出, 它是
X
X
X 的偏差 "
X
−
E
(
X
)
X-E(X)
X−E(X) " 与
Y
Y
Y 的偏差 "
Y
−
E
(
Y
)
Y-E(Y)
Y−E(Y) " 乘积
的数学期望. 由于偏差可正可负,故协方差也可正可负,也可为零,其具体表现如下:
- 当
Cov
(
X
,
Y
)
>
0
\operatorname{Cov}(X, Y)>0
Cov(X,Y)>0 时, 称
X
X
X 与
Y
Y
Y 正相关,
这时两个偏差
(
X
−
E
(
X
)
)
(X-E(X))
(X−E(X)) 与
(
Y
−
E
(
Y
)
)
(Y-E(Y))
(Y−E(Y)) 有同时增加或同时减少的倾向. 由于
E
(
X
)
E(X)
E(X) 与
E
(
Y
)
E(Y)
E(Y) 都是常数, 故等价于
X
X
X 与
Y
Y
Y
有同时增加或同时减少的倾向, 这就是正相关的含义.
- 当
Cov
(
X
,
Y
)
<
0
\operatorname{Cov}(X, Y)<0
Cov(X,Y)<0 时,称
X
X
X 与
Y
Y
Y 负相关, 这时有
X
X
X
增加而
Y
Y
Y 减少的倾向, 或有
Y
Y
Y 增加而
X
X
X 减少的倾向,
这就是负相关的含义.
- 当
Cov
(
X
,
Y
)
=
0
\operatorname{Cov}(X, Y)=0
Cov(X,Y)=0 时, 称
X
X
X 与
Y
Y
Y 不相关.
这时可能由两类情况导致:一类是
X
X
X 与
Y
Y
Y的取值毫无关联 (见性质 3.4.5),
另一类是
X
X
X 与
Y
Y
Y 间存有某种非线性关系 (见例 3.4.6).
下面的性质在协方差的计算中是很有用的.
性质 3.4.4
Cov
(
X
,
Y
)
=
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
\operatorname{Cov}(X, Y)=E(X Y)-E(X) E(Y)
Cov(X,Y)=E(XY)−E(X)E(Y).
证明 由协方差的定义和数学期望的性质可知
Cov
(
X
,
Y
)
=
E
[
X
Y
−
X
E
(
Y
)
−
Y
E
(
X
)
+
E
(
X
)
E
(
Y
)
]
=
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
.
\begin{aligned} \operatorname{Cov}(X, Y) & =E[X Y-X E(Y)-Y E(X)+E(X) E(Y)] \\ & =E(X Y)-E(X) E(Y) . \end{aligned}
Cov(X,Y)=E[XY−XE(Y)−YE(X)+E(X)E(Y)]=E(XY)−E(X)E(Y).
现在我们用下面的性质来说明: "不相关"是比 “独立"更弱的一个概念.
性质 3.4.5 若随机变量
X
X
X 与
Y
Y
Y 相互独立, 则
Cov
(
X
,
Y
)
=
0
\operatorname{Cov}(X, Y)=0
Cov(X,Y)=0, 反之不然.
证明 这是因为在独立场合有
E
(
X
Y
)
=
E
(
X
)
E
(
Y
)
E(X Y)=E(X) E(Y)
E(XY)=E(X)E(Y), 再由以上性质 3.4 .4
即可得协方差为零.反之不然, 可见下面的反例.
例 3.4.6 设随机变量
X
∼
N
(
0
,
σ
2
)
X \sim N\left(0, \sigma^{2}\right)
X∼N(0,σ2), 且令
Y
=
X
2
Y=X^{2}
Y=X2, 则
X
X
X 与
Y
Y
Y 不独立. 此时
X
X
X 与
Y
Y
Y 的协方差为
Cov
(
X
,
Y
)
=
Cov
(
X
,
X
2
)
=
E
(
X
⋅
X
2
)
−
E
(
X
)
E
(
X
2
)
=
0.
\operatorname{Cov}(X, Y)=\operatorname{Cov}\left(X, X^{2}\right)=E\left(X \cdot X^{2}\right)-E(X) E\left(X^{2}\right)=0 .
Cov(X,Y)=Cov(X,X2)=E(X⋅X2)−E(X)E(X2)=0.
最后的等式是因为正态分布
N
(
0
,
σ
2
)
N\left(0, \sigma^{2}\right)
N(0,σ2)
的奇数阶原点矩均为零, 即
E
(
X
)
=
E
(
X
3
)
=
0
E(X)=E\left(X^{3}\right)=0
E(X)=E(X3)=0.
这个例子表明, “独立"必导致"不相关”, 而"不相关"不一定导致"独立” (见图 3.4
1 ). 独立要求严, 不相关要求宽. 因为独立性是用分布定义的,
而不相关只是用矩定义的.二者之间的差别一定{width=“114px”}
图 3.4.1 不相关与
独立的逻辑关系互独立, 则
E
(
X
Y
)
=
E
(
X
)
E
(
Y
)
E(X Y)=E(X) E(Y)
E(XY)=E(X)E(Y), 现可以将条件 “独立” 降弱为
“不相关”.
协方差概念的引人可以完善随机变量和的方差计算, 请看下面性质.
性质 3.4.6 对任意二维随机变量
(
X
,
Y
)
(X, Y)
(X,Y), 有
Var
(
X
±
Y
)
=
Var
(
X
)
+
Var
(
Y
)
±
2
Cov
(
X
,
Y
)
.
\operatorname{Var}(X \pm Y)=\operatorname{Var}(X)+\operatorname{Var}(Y) \pm 2 \operatorname{Cov}(X, Y) .
Var(X±Y)=Var(X)+Var(Y)±2Cov(X,Y).
证明 由方差的定义知
Var
(
X
±
Y
)
=
E
[
(
X
±
Y
)
−
E
(
X
±
Y
)
]
2
=
E
{
[
X
−
E
(
X
)
]
±
[
Y
−
E
(
Y
)
]
}
2
=
E
{
[
X
−
E
(
X
)
]
2
+
[
Y
−
E
(
Y
)
]
}
2
±
2
[
X
−
E
(
X
)
]
[
Y
−
E
(
Y
)
]
}
=
Var
(
X
)
+
Var
(
Y
)
±
2
Cov
(
X
,
Y
)
.
\begin{aligned} \operatorname{Var}(X \pm Y) & =E[(X \pm Y)-E(X \pm Y)]^{2} \\ & =E\{[X-E(X)] \pm[Y-E(Y)]\}^{2} \\ & \left.=E\left\{[X-E(X)]^{2}+[Y-E(Y)]\right\}^{2} \pm 2[X-E(X)][Y-E(Y)]\right\} \\ & =\operatorname{Var}(X)+\operatorname{Var}(Y) \pm 2 \operatorname{Cov}(X, Y) . \end{aligned}
Var(X±Y)=E[(X±Y)−E(X±Y)]2=E{[X−E(X)]±[Y−E(Y)]}2=E{[X−E(X)]2+[Y−E(Y)]}2±2[X−E(X)][Y−E(Y)]}=Var(X)+Var(Y)±2Cov(X,Y).
这个性质表明: 在
X
X
X 与
Y
Y
Y 相关的场合, 和的方差不等于方差的和.
X
X
X 与
Y
Y
Y 的正相关会增加和的方差, 负相关会减少和的方差, 而在
X
X
X 与
Y
Y
Y
不相关的场合, 和的方差等于方
差的和. 这又可将前面有关方差的性质 3.4.3 修改如下:
若
X
X
X 与
Y
Y
Y 不相关, 则
Var
(
X
±
Y
)
=
Var
(
X
)
+
Var
(
Y
)
\operatorname{Var}(X \pm Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)
Var(X±Y)=Var(X)+Var(Y)
以上性质 3.4.6 还可以推广到更多个随机变量场合, 即对任意
n
n
n 个随机变量
X
1
X_{1}
X1,
X
2
,
⋯
,
X
n
X_{2}, \cdots, X_{n}
X2,⋯,Xn, 有
Var
(
∑
i
=
1
n
X
i
)
=
∑
i
=
1
n
Var
(
X
i
)
+
2
∑
i
=
1
n
∑
j
=
1
i
=
1
Cov
(
X
i
,
X
j
)
.
\operatorname{Var}\left(\sum_{i=1}^{n} X_{i}\right)=\sum_{i=1}^{n} \operatorname{Var}\left(X_{i}\right)+2 \sum_{i=1}^{n} \sum_{j=1}^{i=1} \operatorname{Cov}\left(X_{i}, X_{j}\right) .
Var(i=1∑nXi)=i=1∑nVar(Xi)+2i=1∑nj=1∑i=1Cov(Xi,Xj).
关于协方差的计算, 还有下面四条有用的性质.
性质 3.4.7 协方差
Cov
(
X
,
Y
)
\operatorname{Cov}(X, Y)
Cov(X,Y) 的计算与
X
,
Y
X, Y
X,Y 的次序无关,
即
Cov
(
X
,
Y
)
=
Cov
(
Y
,
X
)
.
\operatorname{Cov}(X, Y)=\operatorname{Cov}(Y, X) .
Cov(X,Y)=Cov(Y,X).
证明 这由协方差的定义就可看出.
性质 3.4.8 任意随机变量
X
X
X 与常数
a
a
a 的协方差为零, 即
Cov
(
X
,
a
)
=
0.
\operatorname{Cov}(X, a)=0 .
Cov(X,a)=0.
证明 这只要用协方差的定义计算一下即可得知.
性质 3.4.9 对任意常数
a
,
b
a, b
a,b, 有
Cov
(
a
X
,
b
Y
)
=
a
b
Cov
(
X
,
Y
)
.
\operatorname{Cov}(a X, b Y)=a b \operatorname{Cov}(X, Y) .
Cov(aX,bY)=abCov(X,Y).
证明 由协方差的定义知
Cov
(
a
X
,
b
Y
)
=
E
[
(
a
X
−
E
(
a
X
)
)
(
b
Y
−
E
(
b
Y
)
)
]
.
\operatorname{Cov}(a X, b Y)=E[(a X-E(a X))(b Y-E(b Y))] .
Cov(aX,bY)=E[(aX−E(aX))(bY−E(bY))].
把公因子
a
a
a 与
b
b
b 提出, 即得
a
b
Cov
(
X
,
Y
)
a b \operatorname{Cov}(X, Y)
abCov(X,Y).
性质 3.4.10 设
X
,
Y
,
Z
X, Y, Z
X,Y,Z 是任意三个随机变量, 则
Cov
(
X
+
Y
,
Z
)
=
Cov
(
X
,
Z
)
+
Cov
(
Y
,
Z
)
.
\operatorname{Cov}(X+Y, Z)=\operatorname{Cov}(X, Z)+\operatorname{Cov}(Y, Z) .
Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z).
证明 由协方差的性质 3.4.4 得
Cov
(
X
+
Y
,
Z
)
=
E
[
(
X
+
Y
)
Z
]
−
E
(
X
+
Y
)
E
(
Z
)
=
E
(
X
Z
)
+
E
(
Y
Z
)
−
E
(
X
)
E
(
Z
)
−
E
(
Y
)
E
(
Z
)
=
[
E
(
X
Z
)
−
E
(
X
)
E
(
Z
)
]
+
[
E
(
Y
Z
)
−
E
(
Y
)
E
(
Z
)
]
=
Cov
(
X
,
Z
)
+
Cov
(
Y
,
Z
)
.
\begin{aligned} \operatorname{Cov}(X+Y, Z) & =E[(X+Y) Z]-E(X+Y) E(Z) \\ & =E(X Z)+E(Y Z)-E(X) E(Z)-E(Y) E(Z) \\ & =[E(X Z)-E(X) E(Z)]+[E(Y Z)-E(Y) E(Z)] \\ & =\operatorname{Cov}(X, Z)+\operatorname{Cov}(Y, Z) . \end{aligned}
Cov(X+Y,Z)=E[(X+Y)Z]−E(X+Y)E(Z)=E(XZ)+E(YZ)−E(X)E(Z)−E(Y)E(Z)=[E(XZ)−E(X)E(Z)]+[E(YZ)−E(Y)E(Z)]=Cov(X,Z)+Cov(Y,Z).
例 3.4.7 设二维随机变量
(
X
,
Y
)
(X, Y)
(X,Y) 的联合密度函数为
p
(
x
,
y
)
=
{
3
x
,
0
<
y
<
x
<
1
,
0
,
其他.
p(x, y)=\left\{\begin{array}{ll} 3 x, & 0<y<x<1, \\ 0, & \text { 其他. } \end{array}\right.
p(x,y)={3x,0,0<y<x<1, 其他.
试求
Cov
(
X
,
Y
)
\operatorname{Cov}(X, Y)
Cov(X,Y).
解 利用协方差的计算公式, 我们需要先计算
E
(
X
)
,
E
(
Y
)
,
E
(
X
Y
)
E(X), E(Y), E(X Y)
E(X),E(Y),E(XY) 的值,
它们可直接用
p
(
x
,
y
)
p(x, y)
p(x,y) 导出, 但要注意积分限的确定, 具体如下:
E
(
X
)
=
∫
0
1
∫
0
x
x
⋅
3
x
d
y
d
x
=
∫
0
1
3
x
3
d
x
=
3
4
.
E
(
Y
)
=
∫
0
1
∫
0
x
y
⋅
3
x
d
y
d
x
=
∫
0
1
3
x
3
2
d
x
=
3
8
.
E
(
X
Y
)
=
∫
0
1
∫
0
x
x
y
⋅
3
x
d
y
d
x
=
∫
0
1
3
x
4
2
d
x
=
3
10
.
\begin{array}{l} E(X)=\int_{0}^{1} \int_{0}^{x} x \cdot 3 x \mathrm{~d} y \mathrm{~d} x=\int_{0}^{1} 3 x^{3} \mathrm{~d} x=\frac{3}{4} . \\ E(Y)=\int_{0}^{1} \int_{0}^{x} y \cdot 3 x \mathrm{~d} y \mathrm{~d} x=\int_{0}^{1} \frac{3 x^{3}}{2} \mathrm{~d} x=\frac{3}{8} . \\ E(X Y)=\int_{0}^{1} \int_{0}^{x} x y \cdot 3 x \mathrm{~d} y \mathrm{~d} x=\int_{0}^{1} \frac{3 x^{4}}{2} \mathrm{~d} x=\frac{3}{10} . \end{array}
E(X)=∫01∫0xx⋅3x dy dx=∫013x3 dx=43.E(Y)=∫01∫0xy⋅3x dy dx=∫0123x3 dx=83.E(XY)=∫01∫0xxy⋅3x dy dx=∫0123x4 dx=103.
因此我们得
Cov
(
X
,
Y
)
=
3
10
−
3
4
×
3
8
=
3
160
>
0.
\operatorname{Cov}(X, Y)=\frac{3}{10}-\frac{3}{4} \times \frac{3}{8}=\frac{3}{160}>0 .
Cov(X,Y)=103−43×83=1603>0.
由此我们还可以得结论:
X
X
X 与
Y
Y
Y 不相互独立.
例 3.4.8 设二维随机变量
(
X
,
Y
)
(X, Y)
(X,Y) 的联合密度函数为
p
(
x
,
y
)
=
{
1
3
(
x
+
y
)
,
0
<
x
<
1
,
0
<
y
<
2
,
0
,
其他.
p(x, y)=\left\{\begin{array}{ll} \frac{1}{3}(x+y), & 0<x<1,0<y<2, \\ 0, & \text { 其他. } \end{array}\right.
p(x,y)={31(x+y),0,0<x<1,0<y<2, 其他.
试求
Var
(
2
X
−
3
Y
+
8
)
\operatorname{Var}(2 X-3 Y+8)
Var(2X−3Y+8).
解 因为
Var
(
2
X
−
3
Y
+
8
)
=
Var
(
2
X
)
+
Var
(
3
Y
)
−
2
Cov
(
2
X
,
3
Y
)
=
4
Var
(
X
)
+
9
Var
(
Y
)
−
12
Cov
(
X
,
Y
)
,
\begin{aligned} \operatorname{Var}(2 X-3 Y+8) & =\operatorname{Var}(2 X)+\operatorname{Var}(3 Y)-2 \operatorname{Cov}(2 X, 3 Y) \\ & =4 \operatorname{Var}(X)+9 \operatorname{Var}(Y)-12 \operatorname{Cov}(X, Y), \end{aligned}
Var(2X−3Y+8)=Var(2X)+Var(3Y)−2Cov(2X,3Y)=4Var(X)+9Var(Y)−12Cov(X,Y),
所以我们先要分别计算
E
(
X
)
,
E
(
X
2
)
,
E
(
Y
)
,
E
(
Y
2
)
,
E
(
X
Y
)
E(X), E\left(X^{2}\right), E(Y), E\left(Y^{2}\right), E(X Y)
E(X),E(X2),E(Y),E(Y2),E(XY).
为此先计算两个边际密度函数.
p
x
(
x
)
=
∫
0
2
1
3
(
x
+
y
)
d
y
=
2
3
(
x
+
1
)
,
0
<
x
<
1
,
p
r
(
y
)
=
∫
0
1
1
3
(
x
+
y
)
d
x
=
1
3
(
1
2
+
y
)
,
0
<
y
<
2.
\begin{array}{l} p_{x}(x)=\int_{0}^{2} \frac{1}{3}(x+y) \mathrm{d} y=\frac{2}{3}(x+1), \quad 0<x<1, \\ p_{r}(y)=\int_{0}^{1} \frac{1}{3}(x+y) \mathrm{d} x=\frac{1}{3}\left(\frac{1}{2}+y\right), \quad 0<y<2 . \end{array}
px(x)=∫0231(x+y)dy=32(x+1),0<x<1,pr(y)=∫0131(x+y)dx=31(21+y),0<y<2.
然后再计算一、二阶矩,
E
(
X
)
=
∫
0
1
2
3
x
(
x
+
1
)
d
x
=
5
9
,
E
(
X
2
)
=
∫
0
1
2
3
x
2
(
x
+
1
)
d
x
=
7
18
,
E
(
Y
)
=
∫
0
2
1
3
y
(
1
2
+
y
)
d
y
=
11
9
,
E
(
Y
2
)
=
∫
0
2
1
3
y
2
(
1
2
+
y
)
d
y
=
16
9
.
\begin{array}{l} E(X)=\int_{0}^{1} \frac{2}{3} x(x+1) \mathrm{d} x=\frac{5}{9}, \\ E\left(X^{2}\right)=\int_{0}^{1} \frac{2}{3} x^{2}(x+1) \mathrm{d} x=\frac{7}{18}, \\ E(Y)=\int_{0}^{2} \frac{1}{3} y\left(\frac{1}{2}+y\right) \mathrm{d} y=\frac{11}{9}, \\ E\left(Y^{2}\right)=\int_{0}^{2} \frac{1}{3} y^{2}\left(\frac{1}{2}+y\right) \mathrm{d} y=\frac{16}{9} . \end{array}
E(X)=∫0132x(x+1)dx=95,E(X2)=∫0132x2(x+1)dx=187,E(Y)=∫0231y(21+y)dy=911,E(Y2)=∫0231y2(21+y)dy=916.
由此得
Var
(
X
)
=
7
18
−
(
5
9
)
2
=
13
162
,
Var
(
Y
)
=
16
9
−
(
11
9
)
2
=
23
81
.
\operatorname{Var}(X)=\frac{7}{18}-\left(\frac{5}{9}\right)^{2}=\frac{13}{162}, \quad \operatorname{Var}(Y)=\frac{16}{9}-\left(\frac{11}{9}\right)^{2}=\frac{23}{81} .
Var(X)=187−(95)2=16213,Var(Y)=916−(911)2=8123.
最后还需要计算
E
(
X
Y
)
E(X Y)
E(XY), 它只能从联合密度函数导出.
E
(
X
Y
)
=
1
3
∫
0
1
∫
0
2
x
y
(
x
+
y
)
d
y
d
x
=
1
3
∫
0
1
(
2
x
2
+
8
3
x
)
d
x
=
2
3
.
E(X Y)=\frac{1}{3} \int_{0}^{1} \int_{0}^{2} x y(x+y) \mathrm{d} y \mathrm{~d} x=\frac{1}{3} \int_{0}^{1}\left(2 x^{2}+\frac{8}{3} x\right) \mathrm{d} x=\frac{2}{3} .
E(XY)=31∫01∫02xy(x+y)dy dx=31∫01(2x2+38x)dx=32.
于是得协方差为
Cov
(
X
,
Y
)
=
2
3
−
5
9
×
11
9
=
−
1
81
.
\operatorname{Cov}(X, Y)=\frac{2}{3}-\frac{5}{9} \times \frac{11}{9}=-\frac{1}{81} .
Cov(X,Y)=32−95×911=−811.
代回原式得
Var
(
2
X
−
3
Y
+
8
)
=
4
×
13
162
+
9
×
23
81
−
12
×
(
−
1
81
)
=
245
81
.
\operatorname{Var}(2 X-3 Y+8)=4 \times \frac{13}{162}+9 \times \frac{23}{81}-12 \times\left(-\frac{1}{81}\right)=\frac{245}{81} .
Var(2X−3Y+8)=4×16213+9×8123−12×(−811)=81245.
3.4.4 相关系数
协方差
Cov
(
X
,
Y
)
\operatorname{Cov}(X, Y)
Cov(X,Y) 是有量纲的量, 臂如
X
X
X 表示人的身高,
单位是米
(
m
)
,
Y
(\mathrm{m}), Y
(m),Y 表示人的体重, 单位是千克
(
k
g
)
(\mathrm{kg})
(kg), 则
Cov
(
X
,
Y
)
\operatorname{Cov}(X, Y)
Cov(X,Y) 带有量纲
(
m
⋅
k
g
)
(\mathrm{m} \cdot \mathrm{kg})
(m⋅kg).
为了消除量纲的影响, 现对
协方差除以相同量纲的量, 就得到一个新的概念一一相关系数, 它的定义如下.
定义 3.4.2 设
(
X
,
Y
)
(X, Y)
(X,Y) 是一个二维随机变量, 且
Var
(
X
)
=
σ
X
2
>
0
,
Var
(
Y
)
=
σ
Y
2
>
0
\operatorname{Var}(X)=\sigma_{X}^{2}>0, \operatorname{Var}(Y)=\sigma_{Y}^{2}>0
Var(X)=σX2>0,Var(Y)=σY2>0.则称
Corr
(
X
,
Y
)
=
Cov
(
X
,
Y
)
Var
(
X
)
Var
(
Y
)
=
Cov
(
X
,
Y
)
σ
X
σ
Y
\operatorname{Corr}(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X)} \sqrt{\operatorname{Var}(Y)}}=\frac{\operatorname{Cov}(X, Y)}{\sigma_{X} \sigma_{Y}}
Corr(X,Y)=Var(X)Var(Y)Cov(X,Y)=σXσYCov(X,Y)
为
X
X
X 与
Y
Y
Y 的 (线性) 相关系数.
从以上定义中可看出: 相关系数
Corr
(
X
,
Y
)
\operatorname{Corr}(X, Y)
Corr(X,Y) 与协方差
Cov
(
X
,
Y
)
\operatorname{Cov}(X, Y)
Cov(X,Y) 是同符号的, 即同为正, 或同为负, 或同为零.
这说明, 从相关系数的取值也可反映出
X
X
X 与
Y
Y
Y 的正相关、负相关和不相关.
相关系数的另一个解释是: 它是相应标准化变量的协方差. 若记
X
X
X 与
Y
Y
Y
的数学期望分别为
μ
X
,
μ
Y
\mu_{X}, \mu_{Y}
μX,μY, 其标准化变量为
X
∗
=
X
−
μ
x
σ
X
,
Y
∗
=
Y
−
μ
Y
σ
Y
,
X^{*}=\frac{X-\mu_{x}}{\sigma_{X}}, \quad Y^{*}=\frac{Y-\mu_{Y}}{\sigma_{Y}},
X∗=σXX−μx,Y∗=σYY−μY,
则有
Cov
(
X
∗
,
Y
∗
)
=
Cov
(
X
−
μ
X
σ
X
,
Y
−
μ
Y
σ
Y
)
=
Cov
(
X
,
Y
)
σ
X
σ
Y
=
Corr
(
X
,
Y
)
.
\operatorname{Cov}\left(X^{*}, Y^{*}\right)=\operatorname{Cov}\left(\frac{X-\mu_{X}}{\sigma_{X}}, \frac{Y-\mu_{Y}}{\sigma_{Y}}\right)=\frac{\operatorname{Cov}(X, Y)}{\sigma_{X} \sigma_{Y}}=\operatorname{Corr}(X, Y) .
Cov(X∗,Y∗)=Cov(σXX−μX,σYY−μY)=σXσYCov(X,Y)=Corr(X,Y).
例 3.4.9 二维正态分布
N
(
μ
1
,
μ
2
,
σ
1
2
,
σ
2
2
,
ρ
)
N\left(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho\right)
N(μ1,μ2,σ12,σ22,ρ)
的相关系数就是
ρ
\rho
ρ.
解 下面先求
Cov
(
X
,
Y
)
\operatorname{Cov}(X, Y)
Cov(X,Y).
Cov
(
X
,
Y
)
=
E
[
(
X
−
E
(
X
)
)
(
Y
−
E
(
Y
)
)
]
=
1
2
π
σ
1
σ
2
1
−
ρ
2
∫
−
∞
∞
∫
−
∞
∞
(
x
−
μ
1
)
(
y
−
μ
2
)
⋅
exp
{
−
1
2
(
1
−
ρ
2
)
[
(
x
−
μ
1
)
2
σ
1
2
−
2
ρ
(
x
−
μ
1
)
(
y
−
μ
2
)
σ
1
σ
2
+
(
y
−
μ
2
)
2
σ
2
2
]
}
d
x
d
y
.
\begin{aligned} \operatorname{Cov}(X, Y)= & E[(X-E(X))(Y-E(Y))] \\ = & \frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty}\left(x-\mu_{1}\right)\left(y-\mu_{2}\right) \cdot \\ & \exp \left\{-\frac{1}{2\left(1-\rho^{2}\right)}\left[\frac{\left(x-\mu_{1}\right)^{2}}{\sigma_{1}^{2}}-2 \rho \frac{\left(x-\mu_{1}\right)\left(y-\mu_{2}\right)}{\sigma_{1} \sigma_{2}}+\right.\right. \\ & \left.\left.\frac{\left(y-\mu_{2}\right)^{2}}{\sigma_{2}^{2}}\right]\right\} \mathrm{d} x \mathrm{~d} y . \end{aligned}
Cov(X,Y)==E[(X−E(X))(Y−E(Y))]2πσ1σ21−ρ21∫−∞∞∫−∞∞(x−μ1)(y−μ2)⋅exp{−2(1−ρ2)1[σ12(x−μ1)2−2ρσ1σ2(x−μ1)(y−μ2)+σ22(y−μ2)2]}dx dy.
先将上式中方括号内化成
(
x
−
μ
1
σ
1
−
ρ
y
−
μ
2
σ
2
)
2
+
(
1
−
ρ
2
y
−
μ
2
σ
2
)
2
,
\left(\frac{x-\mu_{1}}{\sigma_{1}}-\rho \frac{y-\mu_{2}}{\sigma_{2}}\right)^{2}+\left(\sqrt{1-\rho^{2}} \frac{y-\mu_{2}}{\sigma_{2}}\right)^{2},
(σ1x−μ1−ρσ2y−μ2)2+(1−ρ2σ2y−μ2)2,
再作变量变换
{
u
=
1
1
−
ρ
2
(
x
−
μ
1
σ
1
−
ρ
y
−
μ
2
σ
2
)
,
v
=
y
−
μ
2
σ
2
,
\left\{\begin{array}{l} u=\frac{1}{\sqrt{1-\rho^{2}}}\left(\frac{x-\mu_{1}}{\sigma_{1}}-\rho \frac{y-\mu_{2}}{\sigma_{2}}\right), \\ v=\frac{y-\mu_{2}}{\sigma_{2}}, \end{array}\right.
{u=1−ρ21(σ1x−μ1−ρσ2y−μ2),v=σ2y−μ2,
则
{
x
−
μ
1
=
σ
1
(
u
1
−
ρ
2
+
ρ
v
)
,
y
−
μ
2
=
σ
2
v
,
d
x
d
y
=
∣
J
∣
d
u
d
v
=
σ
1
σ
2
1
−
ρ
2
d
u
d
v
.
\begin{array}{c} \left\{\begin{array}{l} x-\mu_{1}=\sigma_{1}\left(u \sqrt{1-\rho^{2}}+\rho v\right), \\ y-\mu_{2}=\sigma_{2} v, \end{array}\right. \\ \mathrm{d} x \mathrm{~d} y=|J| \mathrm{d} u \mathrm{~d} v=\sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}} \mathrm{~d} u \mathrm{~d} v . \end{array}
{x−μ1=σ1(u1−ρ2+ρv),y−μ2=σ2v,dx dy=∣J∣du dv=σ1σ21−ρ2 du dv.
由此得
Cov
(
X
,
Y
)
=
σ
1
σ
2
2
π
∫
−
∞
∞
∫
−
∞
∞
(
u
v
1
−
ρ
2
+
ρ
v
2
)
exp
{
−
1
2
(
u
2
+
v
2
)
}
d
u
d
v
.
\operatorname{Cov}(X, Y)=\frac{\sigma_{1} \sigma_{2}}{2 \pi} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty}\left(u v \sqrt{1-\rho^{2}}+\rho v^{2}\right) \exp \left\{-\frac{1}{2}\left(u^{2}+v^{2}\right)\right\} \mathrm{d} u \mathrm{~d} v .
Cov(X,Y)=2πσ1σ2∫−∞∞∫−∞∞(uv1−ρ2+ρv2)exp{−21(u2+v2)}du dv.
上式右端积分可以分为两个积分之和,其中
∫
−
∞
∞
∫
−
∞
∞
u
v
exp
{
−
1
2
(
u
2
+
v
2
)
}
d
u
d
v
=
0
,
∫
−
∞
∞
∫
−
∞
∞
v
2
exp
{
−
1
2
(
u
2
+
v
2
)
}
d
u
d
v
=
2
π
.
\begin{array}{l} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} u v \exp \left\{-\frac{1}{2}\left(u^{2}+v^{2}\right)\right\} \mathrm{d} u \mathrm{~d} v=0, \\ \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} v^{2} \exp \left\{-\frac{1}{2}\left(u^{2}+v^{2}\right)\right\} \mathrm{d} u \mathrm{~d} v=2 \pi . \end{array}
∫−∞∞∫−∞∞uvexp{−21(u2+v2)}du dv=0,∫−∞∞∫−∞∞v2exp{−21(u2+v2)}du dv=2π.
从而
Cov
(
X
,
Y
)
=
σ
1
σ
2
2
π
⋅
ρ
⋅
2
π
=
ρ
σ
1
σ
2
,
Cor
(
X
,
Y
)
=
Cov
(
X
,
Y
)
σ
1
σ
2
=
ρ
.
\begin{array}{c} \operatorname{Cov}(X, Y)=\frac{\sigma_{1} \sigma_{2}}{2 \pi} \cdot \rho \cdot 2 \pi=\rho \sigma_{1} \sigma_{2}, \\ \operatorname{Cor}(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sigma_{1} \sigma_{2}}=\rho . \end{array}
Cov(X,Y)=2πσ1σ2⋅ρ⋅2π=ρσ1σ2,Cor(X,Y)=σ1σ2Cov(X,Y)=ρ.
为了研究相关系数的性质, 需要如下引理.
引理 3.4.1 (施瓦茨 (Schwarz) 不等式) 对任意二维随机变量
(
X
,
Y
)
(X, Y)
(X,Y), 若
X
X
X
与
Y
Y
Y的方差都存在, 且记
σ
x
2
=
Var
(
X
)
,
σ
Y
2
=
Var
(
Y
)
\sigma_{x}^{2}=\operatorname{Var}(X), \sigma_{Y}^{2}=\operatorname{Var}(Y)
σx2=Var(X),σY2=Var(Y),
则有
[
Cov
(
X
,
Y
)
]
2
⩽
σ
X
2
σ
Y
2
.
[\operatorname{Cov}(X, Y)]^{2} \leqslant \sigma_{X}^{2} \sigma_{Y}^{2} .
[Cov(X,Y)]2⩽σX2σY2.
证明 不妨设
σ
x
2
>
0
\sigma_{x}^{2}>0
σx2>0, 因为当
σ
x
2
=
0
\sigma_{x}^{2}=0
σx2=0 时, 则
X
X
X
几乎处处为常数,因而其与
Y
Y
Y 的协方差亦为零, 从而 (3.4.11) 式两端皆为零,
结论成立. 若
σ
x
2
>
0
\sigma_{x}^{2}>0
σx2>0 成立, 考虑
t
t
t 的如下二次函数:
g
(
t
)
=
E
[
t
(
X
−
E
(
X
)
)
+
(
Y
−
E
(
Y
)
)
]
2
=
t
2
σ
X
2
+
2
t
⋅
Cov
(
X
,
Y
)
+
σ
Y
2
.
g(t)=E[t(X-E(X))+(Y-E(Y))]^{2}=t^{2} \sigma_{X}^{2}+2 t \cdot \operatorname{Cov}(X, Y)+\sigma_{Y}^{2} .
g(t)=E[t(X−E(X))+(Y−E(Y))]2=t2σX2+2t⋅Cov(X,Y)+σY2.
由于上述的二次三项式非负, 平方项系数
σ
X
2
\sigma_{X}^{2}
σX2 为正,
所以其判别式小于或等于零, 即
[
2
Cov
(
X
,
Y
)
]
2
−
4
σ
X
2
σ
Y
2
⩽
0.
[2 \operatorname{Cov}(X, Y)]^{2}-4 \sigma_{X}^{2} \sigma_{Y}^{2} \leqslant 0 .
[2Cov(X,Y)]2−4σX2σY2⩽0.
移项后即得施瓦茨不等式.
利用施瓦茨不等式立即可得相关系数的一个重要性质.
性质 3.4.11
−
1
⩽
Corr
(
X
,
Y
)
⩽
1
-1 \leqslant \operatorname{Corr}(X, Y) \leqslant 1
−1⩽Corr(X,Y)⩽1, 或
∣
Corr
(
X
,
Y
)
∣
⩽
1
|\operatorname{Corr}(X, Y)| \leqslant 1
∣Corr(X,Y)∣⩽1.
这个性质表明: 相关系数介于 -1 与 1 之间. 当相关系数为
±
1
\pm 1
±1 时,
有另一重要性质.
性质 3.4.12
Corr
(
X
,
Y
)
=
±
1
\operatorname{Corr}(X, Y)= \pm 1
Corr(X,Y)=±1 的充要条件是
X
X
X 与
Y
Y
Y
间几乎处处有线性关系, 即存在
a
(
≠
0
)
a(\neq 0)
a(=0) 与
b
b
b, 使得
P
(
Y
=
a
X
+
b
)
=
1.
P(Y=a X+b)=1 .
P(Y=aX+b)=1.
其中当
Corr
(
X
,
Y
)
=
1
\operatorname{Corr}(X, Y)=1
Corr(X,Y)=1 时, 有
a
>
0
a>0
a>0; 当
Corr
(
X
,
Y
)
=
−
1
\operatorname{Corr}(X, Y)=-1
Corr(X,Y)=−1 时, 有
a
<
0
a<0
a<0.
证明 充分性. 若
Y
=
a
X
+
b
(
X
=
c
Y
+
d
Y=a X+b(X=c Y+d
Y=aX+b(X=cY+d 也一样
)
)
), 则将
Var
(
Y
)
=
a
2
Var
(
X
)
,
Cov
(
X
,
Y
)
=
a
Cov
(
X
,
X
)
=
a
Var
(
X
)
\operatorname{Var}(Y)=a^{2} \operatorname{Var}(X), \quad \operatorname{Cov}(X, Y)=a \operatorname{Cov}(X, X)=a \operatorname{Var}(X)
Var(Y)=a2Var(X),Cov(X,Y)=aCov(X,X)=aVar(X)
代人相关系数的定义中得
Corr
(
X
,
Y
)
=
Cov
(
X
,
Y
)
σ
X
σ
Y
=
a
Var
(
X
)
∣
a
∣
Var
(
X
)
=
{
1
,
a
>
0
,
−
1
,
a
<
0.
\operatorname{Corr}(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sigma_{X} \sigma_{Y}}=\frac{a \operatorname{Var}(X)}{|a| \operatorname{Var}(X)}=\left\{\begin{array}{cc} 1, & a>0, \\ -1, & a<0 . \end{array}\right.
Corr(X,Y)=σXσYCov(X,Y)=∣a∣Var(X)aVar(X)={1,−1,a>0,a<0.
必要性. 因为
Var
(
X
σ
X
±
Y
σ
Y
)
=
2
[
1
±
Corr
(
X
,
Y
)
]
,
\operatorname{Var}\left(\frac{X}{\sigma_{X}} \pm \frac{Y}{\sigma_{Y}}\right)=2[1 \pm \operatorname{Corr}(X, Y)],
Var(σXX±σYY)=2[1±Corr(X,Y)],
所以当
Corr
(
X
,
Y
)
=
1
\operatorname{Corr}(X, Y)=1
Corr(X,Y)=1 时, 有
Var
(
X
σ
X
−
Y
σ
Y
)
=
0
,
\operatorname{Var}\left(\frac{X}{\sigma_{X}}-\frac{Y}{\sigma_{Y}}\right)=0,
Var(σXX−σYY)=0,
由此得
P
(
X
σ
X
−
Y
σ
Y
=
c
)
=
1
,
P\left(\frac{X}{\sigma_{X}}-\frac{Y}{\sigma_{Y}}=c\right)=1,
P(σXX−σYY=c)=1,
或
P
(
Y
=
σ
Y
σ
X
X
−
c
σ
Y
)
=
1.
P\left(Y=\frac{\sigma_{Y}}{\sigma_{X}} X-c \sigma_{Y}\right)=1 .
P(Y=σXσYX−cσY)=1.
这就证明了: 当
Corr
(
X
,
Y
)
=
1
\operatorname{Corr}(X, Y)=1
Corr(X,Y)=1 时,
Y
Y
Y 与
X
X
X
几乎处处为线性正相关.
当
Corr
(
X
,
Y
)
=
−
1
\operatorname{Corr}(X, Y)=-1
Corr(X,Y)=−1 时,由 (3.4.12) 式得
Var
(
X
σ
X
+
Y
σ
Y
)
=
0
,
\operatorname{Var}\left(\frac{X}{\sigma_{X}}+\frac{Y}{\sigma_{Y}}\right)=0,
Var(σXX+σYY)=0,
由此得
P
(
X
σ
X
+
Y
σ
Y
=
c
)
=
1
,
P\left(\frac{X}{\sigma_{X}}+\frac{Y}{\sigma_{Y}}=c\right)=1,
P(σXX+σYY=c)=1,
或
P
(
Y
=
−
σ
Y
σ
X
X
+
c
σ
Y
)
=
1.
P\left(Y=-\frac{\sigma_{Y}}{\sigma_{X}} X+c \sigma_{Y}\right)=1 .
P(Y=−σXσYX+cσY)=1.
这也证明了: 当
Corr
(
X
,
Y
)
=
−
1
\operatorname{Corr}(X, Y)=-1
Corr(X,Y)=−1 时,
Y
Y
Y 与
X
X
X
几乎处处为线性负相关.
对于这个性质可作以下几点说明:
- 相关系数
Corr
(
X
,
Y
)
\operatorname{Corr}(X, Y)
Corr(X,Y) 刻画了
X
X
X 与
Y
Y
Y
之间的线性关系强弱, 因此也常称其为 “线性相关系数”.
- 若
Corr
(
X
,
Y
)
=
0
\operatorname{Corr}(X, Y)=0
Corr(X,Y)=0, 则称
X
X
X 与
Y
Y
Y 不相关. 不相关是指
X
X
X 与
Y
Y
Y 之间没有线性关系, 但
X
X
X 与
Y
Y
Y
之间可能有其他的函数关系,臂如平方关系、对数关系等.
- 若
Corr
(
X
,
Y
)
=
1
\operatorname{Corr}(X, Y)=1
Corr(X,Y)=1, 则称
X
X
X 与
Y
Y
Y 完全正相关; 若
Corr
(
X
,
Y
)
=
−
1
\operatorname{Corr}(X, Y)=-1
Corr(X,Y)=−1, 则称
X
X
X 与
Y
Y
Y 完全负相关.
- 若
0
<
∣
Corr
(
X
,
Y
)
∣
<
1
0<|\operatorname{Corr}(X, Y)|<1
0<∣Corr(X,Y)∣<1, 则称
X
X
X 与
Y
Y
Y 有 “一定程度”
的线性关系.
∣
Corr
(
X
,
Y
)
∣
|\operatorname{Corr}(X, Y)|
∣Corr(X,Y)∣ 越接近于 1 ,
则线性相关程度越高;
∣
Cor
(
X
,
Y
)
∣
|\operatorname{Cor}(X, Y)|
∣Cor(X,Y)∣ 越接近于 0 ,
则线性相关程度越低. 而协方差看不出这一点. 若协方差很小, 而其两个标准差
σ
X
\sigma_{X}
σX 和
σ
Y
\sigma_{Y}
σY 也很小, 则其比值就不一定很小, 这可从下面例
3.4.10 看出.
例 3.4.10 已知随机向量
(
X
,
Y
)
(X, Y)
(X,Y) 的联合密度函数为
p
(
x
,
y
)
=
{
8
3
,
0
<
x
−
y
<
0.5
,
0
<
x
,
y
<
1
,
0
,
其他.
p(x, y)=\left\{\begin{array}{ll} \frac{8}{3}, & 0<x-y<0.5,0<x, y<1, \\ 0, & \text { 其他. } \end{array}\right.
p(x,y)={38,0,0<x−y<0.5,0<x,y<1, 其他.
求
X
,
Y
X, Y
X,Y 的相关系数
Corr
(
X
,
Y
)
\operatorname{Corr}(X, Y)
Corr(X,Y).
解 先计算两个边际密度函数.
当
0
<
x
<
0.5
0<x<0.5
0<x<0.5 时,
p
x
(
x
)
=
∫
−
∞
∞
p
(
x
,
y
)
d
y
=
∫
0
x
8
3
d
y
=
8
3
x
,
p_{x}(x)=\int_{-\infty}^{\infty} p(x, y) \mathrm{d} y=\int_{0}^{x} \frac{8}{3} \mathrm{~d} y=\frac{8}{3} x,
px(x)=∫−∞∞p(x,y)dy=∫0x38 dy=38x,
当
0.5
<
x
<
1
0.5<x<1
0.5<x<1 时,
p
X
(
x
)
=
∫
−
∞
∞
p
(
x
,
y
)
d
y
=
∫
x
−
0.5
x
8
3
d
y
=
4
3
,
p_{X}(x)=\int_{-\infty}^{\infty} p(x, y) \mathrm{d} y=\int_{x-0.5}^{x} \frac{8}{3} \mathrm{~d} y=\frac{4}{3},
pX(x)=∫−∞∞p(x,y)dy=∫x−0.5x38 dy=34,
所以得
X
X
X 的边际密度函数为
p
x
(
x
)
=
{
8
3
x
,
0
<
x
<
0.5
,
4
3
,
0.5
<
x
<
1
,
0
,
其他.
p_{x}(x)=\left\{\begin{array}{ll} \frac{8}{3} x, & 0<x<0.5, \\ \frac{4}{3}, & 0.5<x<1, \\ 0, & \text { 其他. } \end{array}\right.
px(x)=⎩
⎨
⎧38x,34,0,0<x<0.5,0.5<x<1, 其他.
{width=“186px”}
图3.4.2 例 3.4.10 中
p
(
x
,
y
)
p(x, y)
p(x,y) 的非零区域
当
0
<
y
<
0.5
0<y<0.5
0<y<0.5 时,
p
Y
(
y
)
=
∫
−
∞
∞
p
(
x
,
y
)
d
x
=
∫
y
y
+
0.5
8
3
d
x
=
4
3
,
p_{Y}(y)=\int_{-\infty}^{\infty} p(x, y) \mathrm{d} x=\int_{y}^{y+0.5} \frac{8}{3} \mathrm{~d} x=\frac{4}{3},
pY(y)=∫−∞∞p(x,y)dx=∫yy+0.538 dx=34,
当
0.5
<
y
<
1
0.5<y<1
0.5<y<1 时,
p
Y
(
y
)
=
∫
−
∞
∞
p
(
x
,
y
)
d
x
=
∫
y
1
8
3
d
x
=
8
3
(
1
−
y
)
,
p_{Y}(y)=\int_{-\infty}^{\infty} p(x, y) \mathrm{d} x=\int_{y}^{1} \frac{8}{3} \mathrm{~d} x=\frac{8}{3}(1-y),
pY(y)=∫−∞∞p(x,y)dx=∫y138 dx=38(1−y),
所以得
Y
Y
Y 的边际密度函数为
p
γ
(
y
)
=
{
4
3
,
0
<
y
<
0.5
,
8
3
(
1
−
y
)
,
0.5
<
y
<
1
,
0
,
其他.
p_{\gamma}(y)=\left\{\begin{array}{ll} \frac{4}{3}, & 0<y<0.5, \\ \frac{8}{3}(1-y), & 0.5<y<1, \\ 0, & \text { 其他. } \end{array}\right.
pγ(y)=⎩
⎨
⎧34,38(1−y),0,0<y<0.5,0.5<y<1, 其他.
然后分别计算
X
X
X 与
Y
Y
Y 的一、二阶矩
E
(
X
)
=
∫
0
0.5
8
3
x
2
d
x
+
∫
0.5
1
4
3
x
d
x
=
11
18
,
E
(
Y
)
=
∫
0
0.5
4
3
y
d
y
+
∫
0.5
1
8
3
y
(
1
−
y
)
d
y
=
7
18
,
E
(
X
2
)
=
∫
0
0.5
8
3
x
3
d
x
+
∫
0.5
1
4
3
x
2
d
x
=
31
72
,
E
(
Y
2
)
=
∫
0
0.5
4
3
y
2
d
y
+
∫
0.5
1
8
3
y
2
(
1
−
y
)
d
y
=
5
24
.
\begin{array}{l} E(X)=\int_{0}^{0.5} \frac{8}{3} x^{2} \mathrm{~d} x+\int_{0.5}^{1} \frac{4}{3} x \mathrm{~d} x=\frac{11}{18}, \\ E(Y)=\int_{0}^{0.5} \frac{4}{3} y \mathrm{~d} y+\int_{0.5}^{1} \frac{8}{3} y(1-y) \mathrm{d} y=\frac{7}{18}, \\ E\left(X^{2}\right)=\int_{0}^{0.5} \frac{8}{3} x^{3} \mathrm{~d} x+\int_{0.5}^{1} \frac{4}{3} x^{2} \mathrm{~d} x=\frac{31}{72}, \\ E\left(Y^{2}\right)=\int_{0}^{0.5} \frac{4}{3} y^{2} \mathrm{~d} y+\int_{0.5}^{1} \frac{8}{3} y^{2}(1-y) \mathrm{d} y=\frac{5}{24} . \end{array}
E(X)=∫00.538x2 dx+∫0.5134x dx=1811,E(Y)=∫00.534y dy+∫0.5138y(1−y)dy=187,E(X2)=∫00.538x3 dx+∫0.5134x2 dx=7231,E(Y2)=∫00.534y2 dy+∫0.5138y2(1−y)dy=245.
由此可得
X
X
X 与
Y
Y
Y 各自的方差
Var
(
X
)
=
31
72
−
(
11
18
)
2
=
37
648
,
Var
(
Y
)
=
5
24
−
(
7
18
)
2
=
37
648
.
\begin{array}{l} \operatorname{Var}(X)=\frac{31}{72}-\left(\frac{11}{18}\right)^{2}=\frac{37}{648}, \\ \operatorname{Var}(Y)=\frac{5}{24}-\left(\frac{7}{18}\right)^{2}=\frac{37}{648} . \end{array}
Var(X)=7231−(1811)2=64837,Var(Y)=245−(187)2=64837.
最后还需要计算
E
(
X
Y
)
E(X Y)
E(XY), 它只能从联合密度函数导出.
E
(
X
Y
)
=
∫
0
0.5
∫
0
x
8
3
x
y
d
y
d
x
+
∫
0.5
1
∫
x
−
0.5
x
8
3
x
y
d
y
d
x
=
∫
0
0.5
4
3
x
3
d
x
+
∫
0.5
1
4
3
x
(
x
−
1
4
)
d
x
=
1
48
+
7
18
−
1
8
=
41
144
.
\begin{aligned} E(X Y) & =\int_{0}^{0.5} \int_{0}^{x} \frac{8}{3} x y \mathrm{~d} y \mathrm{~d} x+\int_{0.5}^{1} \int_{x-0.5}^{x} \frac{8}{3} x y \mathrm{~d} y \mathrm{~d} x=\int_{0}^{0.5} \frac{4}{3} x^{3} \mathrm{~d} x+\int_{0.5}^{1} \frac{4}{3} x\left(x-\frac{1}{4}\right) \mathrm{d} x \\ & =\frac{1}{48}+\frac{7}{18}-\frac{1}{8}=\frac{41}{144} . \end{aligned}
E(XY)=∫00.5∫0x38xy dy dx+∫0.51∫x−0.5x38xy dy dx=∫00.534x3 dx+∫0.5134x(x−41)dx=481+187−81=14441.
最后得协方差和相关系数为
Cov
(
X
,
Y
)
=
41
144
−
11
18
×
7
18
=
61
1296
=
0.0471.
Corr
(
X
,
Y
)
=
Cov
(
X
,
Y
)
σ
X
σ
Y
=
61
1296
×
648
37
=
61
74
=
0.8243.
\begin{array}{l} \operatorname{Cov}(X, Y)=\frac{41}{144}-\frac{11}{18} \times \frac{7}{18}=\frac{61}{1296}=0.0471 . \\ \operatorname{Corr}(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sigma_{X} \sigma_{Y}}=\frac{61}{1296} \times \frac{648}{37}=\frac{61}{74}=0.8243 . \end{array}
Cov(X,Y)=14441−1811×187=129661=0.0471.Corr(X,Y)=σXσYCov(X,Y)=129661×37648=7461=0.8243.
这里协方差很小,但其相关系数并不小.
上例中, 从相关系数
Cor
(
X
,
Y
)
=
0.8243
\operatorname{Cor}(X, Y)=0.8243
Cor(X,Y)=0.8243 看,
X
X
X 与
Y
Y
Y
有较高程度的正相关; 但从相应的协方差
Cov
(
X
,
Y
)
=
0.0471
\operatorname{Cov}(X, Y)=0.0471
Cov(X,Y)=0.0471
看,
X
X
X 与
Y
Y
Y 的相关性很微弱, 几乎可以忽略不计.
造成这种错觉的原因在于没有考虑标准差, 若两个标准差都很小,
即使协方差小一些, 相关系数也能显示一定程度的相关性. 由此可见,
在协方差的基础上加工形成的相关系数是更为重要的相关性的特征数.
在一般场合, 独立必导致不相关, 但不相关推不出独立. 但也有例外,
下面的性质指出了这个例外.
性质 3.4.13 在二维正态分布
N
(
μ
1
,
μ
2
,
σ
1
2
,
σ
2
2
,
ρ
)
N\left(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho\right)
N(μ1,μ2,σ12,σ22,ρ)
场合, 不相关与独立是等价的.
证明 由上面例 3.4.9 知, 二维正态分布
N
(
μ
1
,
μ
2
,
σ
1
2
,
σ
2
2
,
ρ
)
N\left(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho\right)
N(μ1,μ2,σ12,σ22,ρ)
的相关系数是
ρ
\rho
ρ, 因此我们只需证
ρ
=
0
\rho=0
ρ=0 与独立是等价的.
因为二维正态分布
N
(
μ
1
,
μ
2
,
σ
1
2
,
σ
2
2
,
ρ
)
N\left(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho\right)
N(μ1,μ2,σ12,σ22,ρ)
的两个边际分布为
N
(
μ
1
,
σ
1
2
)
N\left(\mu_{1}, \sigma_{1}^{2}\right)
N(μ1,σ12) 和
N
(
μ
2
,
σ
2
2
)
N\left(\mu_{2}, \sigma_{2}^{2}\right)
N(μ2,σ22), 所以记其联合密度函数为
p
(
x
,
y
)
p(x, y)
p(x,y), 边际密度函数为
p
x
(
x
)
p_{x}(x)
px(x) 与
p
γ
(
y
)
p_{\gamma}(y)
pγ(y).
当
ρ
=
0
\rho=0
ρ=0 时, 可从正态密度函数的表达式中看出
p
(
x
,
y
)
=
p
x
(
x
)
p
y
(
y
)
,
p(x, y)=p_{x}(x) p_{y}(y),
p(x,y)=px(x)py(y),
即
X
X
X 与
Y
Y
Y 相互独立.
反之, 若
X
X
X 与
Y
Y
Y 相互独立, 则
X
X
X 与
Y
Y
Y 不相关, 从而有
ρ
=
0
\rho=0
ρ=0.
结论得证.
例 3.4.11 (投资组合的风险) 设有一笔资金, 总量记为 1 (可以是 1 万元,
也可以是 100 万元等), 如今要投资甲、乙两种证券. 若将资金
x
1
x_{1}
x1
投资于甲证券, 将余下的资金
1
−
x
1
=
x
2
1-x_{1}=x_{2}
1−x1=x2 投资于乙证券, 于是
(
x
1
,
x
2
)
\left(x_{1}, x_{2}\right)
(x1,x2) 就形成了一个投资组合. 记
X
X
X
为投资甲证券的收益率,
Y
Y
Y 为投资乙证券的收益率, 它们都是随机变量.
如果已知
X
X
X 和
Y
Y
Y 的均值 (代表平均收益) 分别为
μ
1
\mu_{1}
μ1 和
μ
2
\mu_{2}
μ2,
方差 (代表风险) 分别为
σ
1
2
\sigma_{1}^{2}
σ12 和
σ
2
2
,
X
\sigma_{2}^{2}, X
σ22,X 和
Y
Y
Y
间的相关系数为
ρ
\rho
ρ.试求该投资组合的平均收益与风险 (方差),
并求使投资组合风险最小的
x
1
x_{1}
x1 是多少?
解 因为组合收益为
Z
=
x
1
X
+
x
2
Y
=
x
1
X
+
(
1
−
x
1
)
Y
,
Z=x_{1} X+x_{2} Y=x_{1} X+\left(1-x_{1}\right) Y,
Z=x1X+x2Y=x1X+(1−x1)Y,
所以该组合的平均收益为
E
(
Z
)
=
x
1
E
(
X
)
+
(
1
−
x
1
)
E
(
Y
)
=
x
1
μ
1
+
(
1
−
x
1
)
μ
2
.
E(Z)=x_{1} E(X)+\left(1-x_{1}\right) E(Y)=x_{1} \mu_{1}+\left(1-x_{1}\right) \mu_{2} .
E(Z)=x1E(X)+(1−x1)E(Y)=x1μ1+(1−x1)μ2.
而该组合的风险 (方差) 为
Var
(
Z
)
=
Var
[
x
1
X
+
(
1
−
x
1
)
Y
]
=
x
1
2
Var
(
X
)
+
(
1
−
x
1
)
2
Var
(
Y
)
+
2
x
1
(
1
−
x
1
)
Cov
(
X
,
Y
)
=
x
1
2
σ
1
2
+
(
1
−
x
1
)
2
σ
2
2
+
2
x
1
(
1
−
x
1
)
ρ
σ
1
σ
2
.
\begin{aligned} \operatorname{Var}(Z) & =\operatorname{Var}\left[x_{1} X+\left(1-x_{1}\right) Y\right] \\ & =x_{1}^{2} \operatorname{Var}(X)+\left(1-x_{1}\right)^{2} \operatorname{Var}(Y)+2 x_{1}\left(1-x_{1}\right) \operatorname{Cov}(X, Y) \\ & =x_{1}^{2} \sigma_{1}^{2}+\left(1-x_{1}\right)^{2} \sigma_{2}^{2}+2 x_{1}\left(1-x_{1}\right) \rho \sigma_{1} \sigma_{2} . \end{aligned}
Var(Z)=Var[x1X+(1−x1)Y]=x12Var(X)+(1−x1)2Var(Y)+2x1(1−x1)Cov(X,Y)=x12σ12+(1−x1)2σ22+2x1(1−x1)ρσ1σ2.
求最小的组合风险, 即求
Var
(
Z
)
\operatorname{Var}(Z)
Var(Z) 关于
x
1
x_{1}
x1 的极小点,
为此令
d
(
Var
(
Z
)
)
d
x
1
=
2
x
1
σ
1
2
−
2
(
1
−
x
1
)
σ
2
2
+
2
ρ
σ
1
σ
2
−
4
x
1
ρ
σ
1
σ
2
=
0
,
\frac{\mathrm{d}(\operatorname{Var}(Z))}{\mathrm{d} x_{1}}=2 x_{1} \sigma_{1}^{2}-2\left(1-x_{1}\right) \sigma_{2}^{2}+2 \rho \sigma_{1} \sigma_{2}-4 x_{1} \rho \sigma_{1} \sigma_{2}=0,
dx1d(Var(Z))=2x1σ12−2(1−x1)σ22+2ρσ1σ2−4x1ρσ1σ2=0,
从中解得
x
1
=
σ
2
2
−
ρ
σ
1
σ
2
σ
1
2
+
σ
2
2
−
2
ρ
σ
1
σ
2
.
x_{1}=\frac{\sigma_{2}^{2}-\rho \sigma_{1} \sigma_{2}}{\sigma_{1}^{2}+\sigma_{2}^{2}-2 \rho \sigma_{1} \sigma_{2}} .
x1=σ12+σ22−2ρσ1σ2σ22−ρσ1σ2.
它与
μ
1
,
μ
2
\mu_{1}, \mu_{2}
μ1,μ2 无关. 又因为
Var
(
Z
)
\operatorname{Var}(Z)
Var(Z) 中
x
1
2
x_{1}^{2}
x12 的系数为正, 所以以上的
x
1
∗
x_{1}^{*}
x1∗ 可使组合风险达到最小.
臂如,
σ
1
2
=
0.3
,
σ
2
2
=
0.5
,
ρ
=
0.4
\sigma_{1}^{2}=0.3, \sigma_{2}^{2}=0.5, \rho=0.4
σ12=0.3,σ22=0.5,ρ=0.4, 则
x
i
∗
=
0.5
−
0.4
0.3
×
0.5
0.3
+
0.5
−
2
×
0.4
0.3
×
0.5
=
0.704.
x_{i}^{*}=\frac{0.5-0.4 \sqrt{0.3 \times 0.5}}{0.3+0.5-2 \times 0.4 \sqrt{0.3 \times 0.5}}=0.704 .
xi∗=0.3+0.5−2×0.40.3×0.50.5−0.40.3×0.5=0.704.
这说明应把全部资金的 70% 投资于甲证券, 而把余下的
30%资金投向乙证券,这样的投资组合风险最小.
3.4.5 随机向量的数学期望向量与协方差矩阵
以下我们用矩阵形式给出
n
n
n 维随机变量的数学期望与方差.
定义 3.4.3 记
n
n
n 维随机向量为
X
=
(
X
1
,
X
2
,
⋯
,
X
n
)
′
\boldsymbol{X}=\left(X_{1}, X_{2}, \cdots, X_{n}\right)^{\prime}
X=(X1,X2,⋯,Xn)′,
若其每个分量的数学期望都存在, 则称
E
(
X
)
=
(
E
(
X
1
)
,
E
(
X
2
)
,
⋯
,
E
(
X
n
)
)
′
E(\boldsymbol{X})=\left(E\left(X_{1}\right), E\left(X_{2}\right), \cdots, E\left(X_{n}\right)\right)^{\prime}
E(X)=(E(X1),E(X2),⋯,E(Xn))′
为
n
n
n 维随机向量
X
\boldsymbol{X}
X 的数学期望向量, 简称为
X
\boldsymbol{X}
X 的数学期望, 而称
E
[
(
X
−
E
(
X
)
)
(
X
−
E
(
X
)
)
′
]
=
(
Var
(
X
1
)
Cov
(
X
1
,
X
2
)
⋯
Cov
(
X
1
,
X
n
)
Cov
(
X
2
,
X
1
)
Var
(
X
2
)
⋯
Cov
(
X
2
,
X
n
)
⋮
⋮
⋮
Cov
(
X
n
,
X
1
)
Cov
(
X
n
,
X
2
)
⋯
Var
(
X
n
)
)
\begin{aligned} & E\left[(\boldsymbol{X}-E(\boldsymbol{X}))(\boldsymbol{X}-E(\boldsymbol{X}))^{\prime}\right] \\ = & \left(\begin{array}{cccc} \operatorname{Var}\left(X_{1}\right) & \operatorname{Cov}\left(X_{1}, X_{2}\right) & \cdots & \operatorname{Cov}\left(X_{1}, X_{n}\right) \\ \operatorname{Cov}\left(X_{2}, X_{1}\right) & \operatorname{Var}\left(X_{2}\right) & \cdots & \operatorname{Cov}\left(X_{2}, X_{n}\right) \\ \vdots & \vdots & & \vdots \\ \operatorname{Cov}\left(X_{n}, X_{1}\right) & \operatorname{Cov}\left(X_{n}, X_{2}\right) & \cdots & \operatorname{Var}\left(X_{n}\right) \end{array}\right) \end{aligned}
=E[(X−E(X))(X−E(X))′]
Var(X1)Cov(X2,X1)⋮Cov(Xn,X1)Cov(X1,X2)Var(X2)⋮Cov(Xn,X2)⋯⋯⋯Cov(X1,Xn)Cov(X2,Xn)⋮Var(Xn)
为该随机向量的方差一协方差矩阵,简称协方差阵, 记为
Cov
(
X
)
\operatorname{Cov}(\boldsymbol{X})
Cov(X).
至此我们可以看出,
n
n
n
维随机向量的数学期望是各分量的数学期望组成的向量.而其方差就是由各分量的方差与协方差组成的矩阵,
其对角线上的元素就是方差, 非对角线元素为协方差.
以下给出协方差矩阵的一个重要性质.
定理 3.4.2
n
n
n 维随机向量的协方差矩阵
Cov
(
X
)
=
(
Cov
(
X
i
,
X
j
)
)
n
×
n
\operatorname{Cov}(\boldsymbol{X})=\left(\operatorname{Cov}\left(X_{i}, X_{j}\right)\right)_{n \times n}
Cov(X)=(Cov(Xi,Xj))n×n
是一个对称的非负定矩阵.
证明 因为
Cov
(
X
i
,
X
j
)
=
Cov
(
X
j
,
X
i
)
\operatorname{Cov}\left(X_{i}, X_{j}\right)=\operatorname{Cov}\left(X_{j}, X_{i}\right)
Cov(Xi,Xj)=Cov(Xj,Xi),
所以对称性是显然的. 下证非负定性. 因为对任意的
n
n
n 维实向量
c
=
(
c
1
,
c
2
,
⋯
,
c
n
)
′
c=\left(c_{1}, c_{2}, \cdots, c_{n}\right)^{\prime}
c=(c1,c2,⋯,cn)′, 有
c
′
Cov
(
X
)
c
=
(
c
1
,
c
2
,
⋯
,
c
n
)
(
Var
(
X
1
)
⋯
Cov
(
X
1
,
X
n
)
Cov
(
X
2
,
X
1
)
⋯
Cov
(
X
2
,
X
n
)
⋮
⋮
Cov
(
X
n
,
X
1
)
⋯
Var
(
X
n
)
)
(
c
1
c
2
⋮
c
n
)
\boldsymbol{c}^{\prime} \operatorname{Cov}(\boldsymbol{X}) \boldsymbol{c}=\left(c_{1}, c_{2}, \cdots, c_{n}\right)\left(\begin{array}{ccc} \operatorname{Var}\left(X_{1}\right) & \cdots & \operatorname{Cov}\left(X_{1}, X_{n}\right) \\ \operatorname{Cov}\left(X_{2}, X_{1}\right) & \cdots & \operatorname{Cov}\left(X_{2}, X_{n}\right) \\ \vdots & & \vdots \\ \operatorname{Cov}\left(X_{n}, X_{1}\right) & \cdots & \operatorname{Var}\left(X_{n}\right) \end{array}\right)\left(\begin{array}{c} c_{1} \\ c_{2} \\ \vdots \\ c_{n} \end{array}\right)
c′Cov(X)c=(c1,c2,⋯,cn)
Var(X1)Cov(X2,X1)⋮Cov(Xn,X1)⋯⋯⋯Cov(X1,Xn)Cov(X2,Xn)⋮Var(Xn)
c1c2⋮cn
=
∑
i
=
1
n
∑
j
=
1
n
c
i
c
j
Cov
(
X
i
,
X
j
)
=
∑
i
=
1
n
∑
j
=
1
n
E
{
[
c
i
(
X
i
−
E
(
X
i
)
)
]
[
c
j
(
X
j
−
E
(
X
j
)
)
]
}
=
E
{
∑
i
=
1
n
∑
j
=
1
n
[
c
i
(
X
i
−
E
(
X
i
)
)
]
[
c
j
(
X
j
−
E
(
X
j
)
)
]
}
=
E
{
[
∑
i
=
1
n
c
i
(
X
i
−
E
(
X
i
)
)
]
[
∑
j
=
1
n
c
j
(
X
j
−
E
(
X
j
)
)
]
}
=
E
[
∑
i
=
1
n
c
i
(
X
i
−
E
(
X
i
)
)
]
2
⩾
0.
\begin{array}{l} =\sum_{i=1}^{n} \sum_{j=1}^{n} c_{i} c_{j} \operatorname{Cov}\left(X_{i}, X_{j}\right) \\ =\sum_{i=1}^{n} \sum_{j=1}^{n} E\left\{\left[c_{i}\left(X_{i}-E\left(X_{i}\right)\right)\right]\left[c_{j}\left(X_{j}-E\left(X_{j}\right)\right)\right]\right\} \\ =E\left\{\sum_{i=1}^{n} \sum_{j=1}^{n}\left[c_{i}\left(X_{i}-E\left(X_{i}\right)\right)\right]\left[c_{j}\left(X_{j}-E\left(X_{j}\right)\right)\right]\right\} \\ =E\left\{\left[\sum_{i=1}^{n} c_{i}\left(X_{i}-E\left(X_{i}\right)\right)\right]\left[\sum_{j=1}^{n} c_{j}\left(X_{j}-E\left(X_{j}\right)\right)\right]\right\} \\ =E\left[\sum_{i=1}^{n} c_{i}\left(X_{i}-E\left(X_{i}\right)\right)\right]^{2} \geqslant 0 . \end{array}
=∑i=1n∑j=1ncicjCov(Xi,Xj)=∑i=1n∑j=1nE{[ci(Xi−E(Xi))][cj(Xj−E(Xj))]}=E{∑i=1n∑j=1n[ci(Xi−E(Xi))][cj(Xj−E(Xj))]}=E{[∑i=1nci(Xi−E(Xi))][∑j=1ncj(Xj−E(Xj))]}=E[∑i=1nci(Xi−E(Xi))]2⩾0.
所以矩阵
Cov
(
X
)
\operatorname{Cov}(\boldsymbol{X})
Cov(X) 是非负定的, 定理得证.
例 3.4. 12 (
n
n
n 元正态分布) 设
n
n
n 维随机变量
X
=
(
X
1
,
X
2
,
⋯
,
X
n
)
\boldsymbol{X}=\left(X_{1}, X_{2}, \cdots, X_{n}\right)
X=(X1,X2,⋯,Xn) '的协方差矩阵
B
\boldsymbol{B}
B
=
Cov
(
X
)
=\operatorname{Cov}(\boldsymbol{X})
=Cov(X) 是正定的,
数学期望向量为
a
=
(
a
1
,
a
2
,
⋯
,
a
n
)
′
a=\left(a_{1}, a_{2}, \cdots, a_{n}\right)^{\prime}
a=(a1,a2,⋯,an)′.
又记
x
=
(
x
1
,
x
2
,
⋯
,
x
n
)
′
\boldsymbol{x}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{\prime}
x=(x1,x2,⋯,xn)′,
则由密度函数
p
(
x
1
,
x
2
,
⋯
,
x
n
)
=
p
(
x
)
=
1
(
2
π
)
n
2
∣
B
∣
1
2
exp
{
−
1
2
(
x
−
a
)
′
B
−
1
(
x
−
a
)
}
p\left(x_{1}, x_{2}, \cdots, x_{n}\right)=p(\boldsymbol{x})=\frac{1}{(2 \pi)^{\frac{n}{2}}|\boldsymbol{B}|^{\frac{1}{2}}} \exp \left\{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{a})^{\prime} \boldsymbol{B}^{-1}(\boldsymbol{x}-\boldsymbol{a})\right\}
p(x1,x2,⋯,xn)=p(x)=(2π)2n∣B∣211exp{−21(x−a)′B−1(x−a)}
定义的分布称为
n
n
n 元正态分布, 记为
X
∼
N
(
a
,
B
)
\boldsymbol{X} \sim N(\boldsymbol{a}, \boldsymbol{B})
X∼N(a,B). 其中
∣
B
∣
|\boldsymbol{B}|
∣B∣ 表示
B
\boldsymbol{B}
B 的行列式,
B
−
1
\boldsymbol{B}^{-1}
B−1
表示
B
\boldsymbol{B}
B的逆阵,
(
x
−
a
)
′
(x-a)^{\prime}
(x−a)′ 表示向量
(
x
−
a
)
(x-a)
(x−a) 的转置.
若记
B
−
1
=
(
r
i
j
)
\boldsymbol{B}^{-1}=\left(r_{i j}\right)
B−1=(rij), 则
(
3.4.13
)
(3.4 .13)
(3.4.13) 式可写成
p
(
x
1
,
x
2
,
⋯
,
x
n
)
=
1
(
2
π
)
n
2
∣
B
∣
1
2
exp
{
−
1
2
∑
i
,
j
=
1
n
r
i
j
(
x
i
−
a
i
)
(
x
j
−
a
j
)
}
.
p\left(x_{1}, x_{2}, \cdots, x_{n}\right)=\frac{1}{(2 \pi)^{\frac{n}{2}}|\boldsymbol{B}|^{\frac{1}{2}}} \exp \left\{-\frac{1}{2} \sum_{i, j=1}^{n} r_{i j}\left(x_{i}-a_{i}\right)\left(x_{j}-a_{j}\right)\right\} .
p(x1,x2,⋯,xn)=(2π)2n∣B∣211exp{−21i,j=1∑nrij(xi−ai)(xj−aj)}.
在
n
=
2
n=2
n=2 的场合, 若取数学期望向量和协方差矩阵分别为
a
=
(
μ
1
μ
2
)
,
B
=
(
σ
1
2
σ
1
σ
2
ρ
σ
1
σ
2
ρ
σ
2
2
)
,
\boldsymbol{a}=\left(\begin{array}{l} \mu_{1} \\ \mu_{2} \end{array}\right), \quad \boldsymbol{B}=\left(\begin{array}{cc} \sigma_{1}^{2} & \sigma_{1} \sigma_{2} \rho \\ \sigma_{1} \sigma_{2} \rho & \sigma_{2}^{2} \end{array}\right),
a=(μ1μ2),B=(σ12σ1σ2ρσ1σ2ρσ22),
代人(3.4.13) 式, 则可得到 (3.1.8) 式给出的二元正态密度函数.
n
n
n 元正态分布是一种最重要的多维分布,
它在概率论、数理统计和随机过程中都占有重要地位.