带你重拾概率论

声明：

1. 本文所有内容均来自笔者在学习中所做总结，难免会有错误，谨慎参考；
2. 本文所有内容的整理逻辑以及应用范围均只局限于机器学习相关内容，请勿延伸至其他领域；
3. 本文内容会不定期更新，总结，修改，排版，仅根据笔者所遇到的问题进行相关部分的完善；
4. 若发现错误，还望不吝赐教（留言，邮箱均可）；
5. 文章内容可转载，但请注明出处；

一、参数估计

所谓参数估计(Parameter estimation)指的是：用已知的样本数据在选定的分布（函数）下，进行参数估计的过程。

换在机器学习指的就是，在已知数据集（结果）和模型（分布函数）的情况下，估计出最适合该模型的参数。

1.1 最大似然估计

最大似然估计(Maximum likelihood estimation)就是指，在已知样本结果的情况下，推断出最有可能使得该结果出现的参数的过程。也就是说最大似然估计一个过程，它用来估计出某个模型的参数，而这些参数能使得已知样本的结果最可能发生。

举例：

假设你有一枚硬币，随机抛10次；现在的结果是6次正面。我们都知道，抛一枚硬币，正面朝上和反面朝上的概率均是$\theta=0.5$；但前提时，这是在大量的实验（抛硬币）情况下才有的结论。那在我们这个情况下，参数$\theta$到底取何值时才能使得出现6次正面的肯能性最大呢？

我们知道，抛硬币是符合二项分布$B(n,p)$，也就是说我们现在已知样本结果以及函数分布，估计出使得该结果最大可能出现的参数$\hat{\theta}$。则有：

$$\mathrm{L}=P(X=6)=\mathrm{C_{10}^6}\hat{\theta}^6(1-\hat{\theta})^4$$

而我们接下来要做的就是求当$\mathrm{L}$取最大值时，$\hat{\theta}$的值。我们很容易求得当$\hat{\theta}=0.6$时$\mathrm{L}$取得最大值0.25；而当$\hat{\theta}=0.5$时，$\mathrm{L}=0.21$

再假设你有一枚硬币，随机抛10次；现在的结果是7次正面。则此时使得该结果最大可能性出现参数$\hat{\theta}$又是多少呢？按照上面的方法我们很容易求得当$\hat{\theta}=0.7$时可能性最大。