机器学习之数理统计与参数估计

开宗明义：本系列基于小象学院机器学习课程，小白，会一点一点推导公式，一步一步爬到最高，嘿嘿嘿，旨在理解和交流，重在记录，望各位大牛指点！

---

机器学习之数理统计与参数估计

---

---

1、统计量

1.1 期望/方差/偏度/峰度

矩：

A、B相互包含的信息量 $I(A,B)$： 给定事件A、B，若有 $P(AB)=P(A)P(B)$,则事件A、B相互独立。那么A、B相互包含的信息量定义为 $I(A,B)$。

期望：


方差：

偏度：


峰度：

---

1.2 协方差和相关系数

协方差：

相关系数：

---

1.3 独立和不相关

若 $X、Y$ 独立，则：
$$\mathrm{Var}(XY)=\mathrm{Var}(X)\mathrm{Var}(Y)+\mathrm{Var}(X)E^2(Y)+\mathrm{Var}(Y)E^2(X)$$

---

2、大数定律/中心极限定理

切比雪夫不等式：

均值：X样本采样中心点，方差：以中心点为圆点，标准差为半径的球范围采样取点。

大数定律：



中心极限定理：

---

3、矩估计

在这里插入图片描述

3.1 中心矩和原点矩

下面举例子：


下面这个很重要哦：

4、最大似然估计