机器学习---数学基础（二、概率统计）

1、概率与积分

（1）离散随机变量

（2）连续随机变量

（3）如何理解概率

1）事件的概率

• 整个概率空间是一个事件，这个事件一定发生所以全空间的概率为 $1$。
• 事件 是随机变量值域的子集 $S$。
• 事件的概率 表示$S$ 里面概率之和或概率密度之积分。

2）事件的条件概率

• 条件也是事件，也可以表示为随机变量值域的子集：$A$
• 条件概率里面的事件，又是这个条件的子集：$S\cap A\subset A$
• 事件的条件概率则表示为$S\cap A$ 在 $A$里面所占的比例。 $$P(S|A)=\frac{P(S\cap A)}{P(A)}$$

2、条件概率与贝叶斯公式

3、大数定律与中心极限定理

3.1 随机变量的矩

3.2 大数定律

3.3 中心极限定理【正态分布】

4、矩估计与极大似然估计

4.1 参数估计

4.2 矩估计

4.3 极大似然估计

• 给定随机变量的分布与未知参数，利用观测到的样本计算似然函数
• 选择最大化似然函数的参数作为参数估计量。【对未知参数的估计】
  
  

应用举例：正态分布的参数估计

$X$ 服从参数为 $\theta =(\mu ,\sigma )$的正态分布，独立重复实验 $n$ 次得到样本， $X_1,...,X_n$. 请利用极大似然估计来估计参数 $\theta$。

$$L(\mu ,\sigma )=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2})$$

$$l(\mu ,\sigma )=ln(L(\mu ,\sigma ))=ln(\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}))$$

$$l(\mu ,\sigma )=\sum _{i=1}^n(ln(\frac{1}{\sqrt{2\pi }\sigma })+ln(exp(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2})))$$

$$l(\mu ,\sigma )=\sum _{i=1}^n(0-ln(\sqrt{2\pi })-ln(\sigma )+(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2})))$$
所以：
$$l(\mu ,\sigma )=C-\frac{n}{2}ln({\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$$

然后似然方程为 $\frac{\partial l}{\partial \sigma }=\frac{\partial l}{\partial \mu }=0$,也就是
$$\mu =\frac{1}{n}\sum _{i=1}^n{x}_i$$
$${\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2$$

最后计算得到极大似然估计量：
$$\mu =\overline{X}$$
$${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(x_i-\overline{X}{)}^2$$

4.4 点估计的评判标准

• 相合性：当样本数量趋于无穷时，估计量收敛于参数真实值。
• 无偏性：对于有限的样本，估计量所符合的分布之期望等于参数真实值。
• 有效性：估计值所满足的分布方差越小越好。
• 渐进正态性：当样本趋于无穷时，去中心化去量纲化的估计量符合标准正态分布。