机器学习0000_数学基础_概率论与数理统计_参数估计_点估计

以下内容为原创[部分参考自教材，未经允许，不得转载]

统计推断的基本问题可以分为两大类： 估计问题、假设检验问题 。机器学习(ML)中常常绕不开这两个问题。点估计可以通俗地理解为估计模型中的参数（ 点估计 ）、估计参数取值的范围（ 区间估计 ）。本文介绍的时点估计方法。

（1）矩估计法

首先我们提出一个问题

到这里，可能大家就会想，我们可以 使用样本均值和样本方差作为相应的总体均值和总体方差的估计量 。矩估计法就是这样的原理。这里涉及到无偏估计量等问题[1]，以后填坑。接下来我们试着使用矩估计法解题(顺便复习求期望和方差)。

在实际估计中，常常使用k阶原点矩进行参数估计，此时有

（2）最大似然估计法

关于最大似然估计，有一个黑球和白球的栗子十分经典，初始来源已经很难考究。

举一个栗子：一个麻袋里有白球与黑球，有放回的抽取10次，结果为8次黑球2次白球，求黑白球之间的比例。最大似然估计法： 假设抽到黑球的概率为p,抽到白球的概率为(1-p), 那得出8次黑球2次白球这个结果的概率为：

那么p应该是多少？很简单， 使p(黑=8)最大时的p‘即为我们想要的估计值 。

为何要使p(黑=8)最大？因为我们已经取得样本“黑=8,白=2”，表明取得样本“黑=8,白=2“的概率比较大，我门当然不考虑那些不能使“黑=8,白=2“出现的p‘作为估计量。

在这个栗子中，p(黑=8)成为样本的似然函数，而相应的统计量p‘称为参数p的最大似然估计量

最后再举个X连续型的栗子

有待更新：最小二乘法、贝叶斯估计法[2]

参考资料：《概率论与数理统计》浙大第四版

欢迎关注_知乎栏目_Python编程与机器学习~~~