这里的证明方法来自浙大《概率与数理统计》108页：
需证明命题：
对
任
意
两
个
随
机
变
量
X
,
Y
，
证
明
其
相
关
系
数
的
绝
对
值
小
于
1
。
对任意两个随机变量X,Y，证明其相关系数的绝对值小于1。
对任意两个随机变量X,Y，证明其相关系数的绝对值小于1。
证明思路：
- 先 构 造 a + b X 和 Y 的 均 方 误 差 的 期 望 E { [ Y − ( a + b X ) ] 2 } 先构造a+bX和Y的均方误差的期望E\left\{ \left[ Y-\left( a+bX\right) \right] ^{2}\right\} 先构造a+bX和Y的均方误差的期望E{[Y−(a+bX)]2}
- 再 求 出 这 个 期 望 的 最 小 值 是 ( 1 − ρ X Y 2 ) D ( Y ) 再求出这个期望的最小值是\left( 1-\rho _{XY}^{2}\right) D\left( Y\right) 再求出这个期望的最小值是(1−ρXY2)D(Y)
-
因
为
均
方
误
差
是
大
于
等
于
0
的
值
，
方
差
也
是
大
于
等
于
0
的
值
，
所
以
对
于
等
式
因为均方误差是大于等于0的值，方差也是大于等于0的值，所以对于等式
因为均方误差是大于等于0的值，方差也是大于等于0的值，所以对于等式
min a , b E { [ Y − ( a + b X ) ] 2 } = ( 1 − ρ x y 2 ) D ( Y ) \min _{a,b}E\left\{ \left[ Y-\left( a+bX\right) \right] ^{2}\right\} =\left( 1-\rho_{xy} ^{2}\right)D\left( Y\right) a,bminE{[Y−(a+bX)]2}=(1−ρxy2)D(Y)
( 1 − ρ X Y 2 ) 是 必 须 大 于 0 的 ， 所 以 ∣ ρ x y ∣ ≤ 1 \left( 1-\rho _{XY}^{2}\right) 是必须大于0的，所以\left| \rho_{xy}\right| \leq 1 (1−ρXY2)是必须大于0的，所以∣ρxy∣≤1
具体步骤
1，对于任意两个随机变量
X
,
Y
X,Y
X,Y，构造
e
=
E
{
[
Y
−
(
a
+
b
x
)
]
2
}
=
E
(
Y
2
)
+
b
2
E
(
X
2
)
+
a
2
−
2
b
E
(
X
Y
)
+
2
a
b
E
(
X
)
−
2
a
E
(
Y
)
(1)
\begin{aligned}e&= E\left\{ \left[ Y-\left( a+bx\right) \right] ^{2}\right\}\\ &=E\left( Y^{2}\right) + b^{2}E\left( X^{2}\right) +a^{2}-2bE\left( XY\right)+2abE\left( X\right) -2aE\left( Y\right) \end{aligned} \tag{1}
e=E{[Y−(a+bx)]2}=E(Y2)+b2E(X2)+a2−2bE(XY)+2abE(X)−2aE(Y)(1)
2. 可以将
e
e
e看作是关于
a
,
b
a, b
a,b的函数，那么，根据多元函数求极值的方法，就要分别求
e
e
e关于
a
,
b
a, b
a,b的偏导，并令其等于
0
0
0, 找到满足必要条件的
a
,
b
a, b
a,b的值
{
∂
e
∂
a
=
2
a
+
2
b
E
(
X
)
−
2
E
(
Y
)
=
0
,
∂
e
∂
b
=
2
b
E
(
X
2
)
−
2
E
(
X
Y
)
+
2
a
E
(
X
)
=
0.
(2)
\begin{cases} \dfrac {\partial e}{\partial a}=2a+2bE\left( X\right) -2E\left( Y\right) =0,\\ \\ \dfrac {\partial e}{\partial b}=2bE\left( X^{2}\right) -2E\left( XY\right) +2aE\left( X\right) =0. \end{cases} \tag{2}
⎩⎪⎪⎪⎨⎪⎪⎪⎧∂a∂e=2a+2bE(X)−2E(Y)=0,∂b∂e=2bE(X2)−2E(XY)+2aE(X)=0.(2)
求
a
,
b
a, b
a,b的二元一次方程组，得出
b
0
=
C
o
v
(
X
,
Y
)
D
(
X
)
a
0
=
E
(
Y
)
−
b
0
E
(
X
)
=
E
(
X
)
−
E
(
X
)
C
o
v
(
X
,
Y
)
D
(
X
)
(3)
\begin{aligned} b_{0}&=\dfrac {Cov\left( X,Y\right) }{D\left( X\right) } \\ a_0&=E\left( Y\right) -b_0E\left( X\right) =E\left( X\right) -E\left( X\right) \dfrac {Cov\left( X,Y\right) }{D\left( X\right) } \end{aligned} \tag{3}
b0a0=D(X)Cov(X,Y)=E(Y)−b0E(X)=E(X)−E(X)D(X)Cov(X,Y)(3)
3. 将
a
0
,
b
0
a_0, b_0
a0,b0代入式
(
1
)
(1)
(1)中，得到
e
=
E
{
[
Y
−
(
a
+
b
x
)
]
2
}
=
D
[
y
−
a
0
−
b
0
X
]
+
[
E
(
Y
−
a
0
−
b
0
X
)
]
2
由
(
2
)
的
第
一
式
可
得
，
E
(
Y
−
a
0
−
b
0
X
)
=
0
=
D
(
Y
−
b
0
X
)
=
D
(
Y
)
+
b
0
2
D
(
X
)
−
2
b
0
C
o
v
(
X
,
Y
)
=
D
(
Y
)
+
C
o
v
2
(
X
,
Y
)
D
(
x
)
−
2
C
o
v
2
(
X
,
Y
)
D
(
x
)
=
D
(
Y
)
[
1
−
D
(
X
,
Y
)
D
(
X
)
D
(
Y
)
]
=
(
1
−
ρ
X
Y
2
)
D
(
Y
)
\begin{aligned} e&= E\left\{ \left[ Y-\left( a+bx\right) \right] ^{2}\right\}\\ &= D\left[ y-a_0 -b_0X\right] +\left[ E\left( Y-a_0-b_0 X\right) \right] ^{2}\\ 由(2)的第一式可得，E\left( Y-a_0-b_0 X\right)=0 \\ &= D\left( Y- b_0X\right) \\ \\ &= D\left( Y\right) +b^{2}_0 D\left( X\right) -2b_0 Cov\left( X,Y\right) \\ \\ &= D\left( Y\right) +\dfrac {Cov^2\left( X,Y\right) }{D\left( x\right) }-2\dfrac {Cov^2\left( X,Y\right) }{D\left( x\right) } \\ \\ &= D\left( Y\right) \left[ 1-\dfrac {D\left( X,Y\right) }{D\left( X\right) D\left( Y\right) }\right] \\ \\ &=\left( 1-\rho_{XY}^2\right) D\left( Y\right) \end{aligned}
e由(2)的第一式可得，E(Y−a0−b0X)=0=E{[Y−(a+bx)]2}=D[y−a0−b0X]+[E(Y−a0−b0X)]2=D(Y−b0X)=D(Y)+b02D(X)−2b0Cov(X,Y)=D(Y)+D(x)Cov2(X,Y)−2D(x)Cov2(X,Y)=D(Y)[1−D(X)D(Y)D(X,Y)]=(1−ρXY2)D(Y)
因为由方差的定义可知，方差始终是大于或等于0的值，而且
e
e
e是一个非负随机变量(有平方)的期望，所以
(
1
−
ρ
X
Y
2
)
\left( 1-\rho_{XY}^2\right)
(1−ρXY2)必定大于0，所以
X
,
Y
X,Y
X,Y的相关系数
∣
ρ
X
Y
∣
≤
1
|\rho_{XY}| \leq 1
∣ρXY∣≤1
这里的证明过程没有问题，不过我有疑问的是，如果问题改为求任意随机变量X,Y的相关系数的取值范围，又该怎么做呢？因为这里的题目已经预设了证明是绝对值小于1，那么怎么证明1就是任意两个随机变量的相关系数的最大值呢？就像 a a a是一个 ( 0 , 0.5 ) (0, 0.5) (0,0.5)之间的值，现在已经证明了 a ≤ 1 a \leq 1 a≤1，怎么能够证明出 a ≤ 0.5 a\leq 0.5 a≤0.5呢
更新，一些关于相关系数的理解：
- 相关系数表达的是两个随机变量 X , Y X, Y X,Y的线性关系，不相关意味着两随机变量间没有线性关系，而不表示两随机变量独立,即是说不存在 a + b X = Y a+bX = Y a+bX=Y这种关系，可能存在 Y = X 2 Y=X^2 Y=X2时，相关系数 ρ X Y = 0 \rho_{XY}=0 ρXY=0, X , Y X,Y X,Y不相关，但是 X , Y X,Y X,Y也不独立。详见浙大概率论与梳理统计第4版108页及其后例一
- 疑问解答：
怎么证明出任意随机变量的相关系数的最大值就是1的呢？
两个思路：
- 由知乎大佬的一个回答知道，可以将随机变量看作无穷维的向量，协方差看作是向量内积，那么相关系数就是向量的夹角余弦值，自然而然，取值范围是 [ − 1 , 1 ] [-1, 1] [−1,1]
- 由书上108页的第二个定理的证明可以知道，
∣
ρ
X
Y
∣
=
1
|\rho_{XY}|=1
∣ρXY∣=1的充要条件是存在常数
a
,
b
a,b
a,b使得
P { Y = a + b X } = 1 P\{ Y= a+bX \} =1 P{Y=a+bX}=1
即是当且仅当 Y = a + b X Y=a+bX Y=a+bX这个条件存在时，满足 ∣ ρ X Y ∣ = 1 |\rho_{XY}|=1 ∣ρXY∣=1这个条件，对于其他 Y = a̸ + b X Y =\not a+bX Y=a+bX的情况都是 ∣ ρ X Y ∣ < 1 |\rho_{XY}|<1 ∣ρXY∣<1，所以能够得出对于任意两个随机变量的相关系数，其绝对值最大能够取到1，以及 ∣ ρ X Y ∣ ≤ 1 |\rho_{XY}|\leq1 ∣ρXY∣≤1
582
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
