机器学习数学笔记|期望方差协方差矩阵
觉得有用的话,欢迎一起讨论相互学习~
本博客为七月在线邹博老师机器学习数学课程学习笔记
为七月在线打call!!
课程传送门
简单概率计算
Example1
- 我们的思路是,若A先到达则假设A是一条长1cm的线段.B出现的概率是一个点,我们只需要让B这个点落在A这条线段上即可.同理,若B先到达,则假设B是一条长2cm的线段,A出现的概率是一个点,我们需要让A落在B这条线段上即可.
Example2
事件的独立性
期望与方差
-
离
散
型
E
(
x
)
=
∑
i
X
i
P
i
离散型E(x)=\sum_{i}X_{i}P_{i}
离散型E(x)=i∑XiPi
连 续 型 E ( x ) = ∫ − ∞ ∞ x f ( x ) d x 连续型E(x)=\int^{\infty}_{-\infty}xf(x)dx 连续型E(x)=∫−∞∞xf(x)dx
期望的性质
-
E
(
k
X
)
=
k
E
(
X
)
E(kX)=kE(X)
E(kX)=kE(X)
E ( X + Y ) = E ( X ) + E ( Y ) E(X+Y)=E(X)+E(Y) E(X+Y)=E(X)+E(Y) - 若X和Y相互独立,即P(AB)=P(A)P(B):
E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)
反之不成立,事实上,若E(XY)=E(X)E(Y)只能说明X和Y 不相关.
Example1
- 从1,2, 3,…98,99,2015这100个数中任意选择若干个数(可能为0个数)求异或,试求异或的期望值.
- 关于异或问题的计算,首先要将其转化为二进制数的形式.
- 其次把握异或的计算法则,异或加法不进位,并且两位取0,不同取1.两两计算,两数相加之和与第三个数进行计算.
- 此题中由于最后一个数最大,所以我们把其作为标准.将其作为第一个加数以二进制展开.
方差
- 定义: V a r ( X ) = E [ X − E ( X ) ] 2 = E ( X 2 ) − E 2 ( X ) Var(X)=E{[X-E(X)]^{2}}=E(X^{2})-E^{2}(X) Var(X)=E[X−E(X)]2=E(X2)−E2(X)
- 无条件成立性质:
V
a
r
(
c
)
=
0
Var(c)=0
Var(c)=0
V a r ( X + c ) = V a r ( X ) Var(X+c)=Var(X) Var(X+c)=Var(X)
V a r ( k X ) = k 2 V a r ( X ) Var(kX)=k^{2}Var(X) Var(kX)=k2Var(X) - X和Y独立: V a r ( X + Y ) = V a r ( X ) + V a r ( Y ) Var(X+Y)=Var(X)+Var(Y) Var(X+Y)=Var(X)+Var(Y)
- 方差的平方根称为标准差.
协方差
- 定义: C o v ( X , Y ) = E [ X − E ( X ) ] [ Y − E ( Y ) ] Cov(X,Y)=E{[X-E(X)] [Y-E(Y)]} Cov(X,Y)=E[X−E(X)][Y−E(Y)]
- 性质:
C
o
v
(
X
,
Y
)
=
C
o
v
(
Y
,
X
)
Cov(X,Y)=Cov(Y,X)
Cov(X,Y)=Cov(Y,X)
C o v ( a X + b , c Y + d ) = a c C o v ( X , Y ) Cov(aX+b,cY+d)=acCov(X,Y) Cov(aX+b,cY+d)=acCov(X,Y) C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) Cov(X_{1}+X_{2},Y)=Cov(X_{1},Y)+Cov(X_{2},Y) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) Cov(X,Y)=E(XY)-E(X)E(Y) Cov(X,Y)=E(XY)−E(X)E(Y)
协方差和独立/不相关
- X和Y独立时,E(X,Y)=E(X)E(Y)而Cov(X,Y)=E(XY)-E(X)E(Y),从而当X和Y独立时,Cov(X,Y)=0
- 但X和Y独立这个前提太强,我们定义:若Cov(X,Y)=0.则称X和Y不相关.
- 协方差是两个随机变量具有相同方向变化趋势的度量
- 若Cov(X,Y)大于0,它们的变化趋势相同
- 若Cov(X,Y)小于0,它们的变化趋势相反
- 若Cov(X,Y)等于0,称X和Y不相关
协方差的上界
若
V
a
r
(
X
)
=
σ
1
2
,
V
a
r
(
Y
)
=
σ
2
2
若Var(X)=\sigma_{1}^{2},Var(Y)=\sigma_{2}^{2}
若Var(X)=σ12,Var(Y)=σ22
则
∣
C
o
v
(
X
,
Y
)
∣
≤
σ
1
σ
2
则|Cov(X,Y)|\leq\sigma_{1}\sigma_{2}
则∣Cov(X,Y)∣≤σ1σ2
当
且
仅
当
X
和
Y
之
间
有
线
性
关
系
时
,
等
号
成
立
(
V
a
r
(
)
表
示
方
差
)
当且仅当X和Y之间有线性关系时,等号成立(Var()表示方差)
当且仅当X和Y之间有线性关系时,等号成立(Var()表示方差)
再谈独立与不相关
- 因为上述定理的保证,使得"不相关"事实上即"线性独立"
- 即:若X与Y不相关,说明X和Y之间没有线性关系(但是有可能存在其他函数关系),不能保证X和Y相互独立.
- 但是X和Y独立一定是不相关
- 但是对于二维正态随机变量,X与Y不相关等价于X与Y相互独立.
Pearson相关系数
协方差矩阵
- 当我们讨论两个事件时,我们称事件为X,Y,其中对于X事件有很多种情况,我们可以用向量的方式表示一个事件X的不同情况.
- 我们原先讨论的是X,Y两个事件的协方差情况,如果对于n个事件,我们怎样计算不同事件之间的协方差?–这里引入协方差矩阵的概念.