机器学习笔记（二）数理统计

数理统计

@(Machine Learning)[数理统计和参数估计]

1.事件的独立性:

• 给定$A$和$B$是两个事件，若有$P(AB) = P(A)P(B)$ 则称事件$A$和$B$相互独立。
• 说明：
  
  • $A$和$B$相互独立，则$P(A｜B) = P(A)$意为事件$B$的发生对$A$没有任何影响。
  • 实践中往往根据两个事件是否相互影响二判断独立性：如给定$M$个样本，若干次采样的情形，往往假定他们相互独立。

2.期望：

• 离散型： $$E(X) = \sum_ix_ip$$
• 连续型：(概率分布率变成概率密度函数) $$E(X)=\int^\infty_\infty xf(x)dx$$
• 即：概率加权下的“平均值”

2.1期望的性质：

• 无条件成立
  $$E(kX) = kE(x)$$ $$E(X+Y) = E(X) + E(Y)$$
• 若$X$和$Y$相互独立 $$E(XY)=E(X)E(Y)$$
  
  • 反之不成立。事实上，若$E(XY) = E(X) E(Y)$，只能说明$X$和$Y$不相关

---

3.方差：

• 定义： $$Var(X) = E([X-E(X)]^2) = E(X^2)-E^2(X)$$
• 无条件成立： $$Var(c) = 0$$
  $$Var(X+c) = Var(X)$$ $$Var(kX) = k^2Var(X)$$
• $X$和$Y$独立：
  $$Var(X+Y) = Var(X)+Var(Y)$$
• 另外，方差的平方根叫做标准差

4.协方差：

协方差是两个随机变量具有相同方向变化趋势的度量；
- 若$Cov(X,Y) > 0$，他们的变化趋势相同
- 若$Cov(X,Y) < 0$，他们的变化趋势相反
- 若$Cov(X,Y) = 0$，称$X$和 Y