数理统计
@(Machine Learning)[数理统计和参数估计]
1.事件的独立性:
- 给定 A 和
B 是两个事件,若有 P(AB)=P(A)P(B) 则称事件 A 和B 相互独立。- 说明:
- A 和
B 相互独立,则 P(A|B)=P(A) 意为事件 B 的发生对A 没有任何影响。- 实践中往往根据两个事件是否相互影响二判断独立性:如给定 M 个样本,若干次采样的情形,往往假定他们相互独立。
2.期望:
- 离散型:
E(X)=∑ixip - 连续型:(概率分布率变成概率密度函数)
E(X)=∫∞∞xf(x)dx- 即:概率加权下的“平均值”
2.1期望的性质:
- 无条件成立
E(kX)=kE(x)E(X+Y)=E(X)+E(Y)- 若 X 和
Y 相互独立E(XY)=E(X)E(Y)
- 反之不成立。事实上,若 E(XY)=E(X)E(Y) ,只能说明 X 和
Y 不相关
3.方差:
- 定义:
Var(X)=E([X−E(X)]2)=E(X2)−E2(X)- 无条件成立:
Var(c)=0
Var(X+c)=Var(X)Var(kX)=k2Var(X)- X 和
Y 独立:
Var(X+Y)=Var(X)+Var(Y)- 另外,方差的平方根叫做标准差
4.协方差:
协方差是两个
随机变量
具有相同方向变化趋势
的度量;
- 若 Cov(X,Y)>0 ,他们的变化趋势相同
- 若 Cov(X,Y)<0 ,他们的变化趋势相反
- 若 Cov(X,Y)=0 ,称 X 和Y