机器学习中的数学——点估计（一）：基础知识

分类目录：《机器学习中的数学》总目录
相关文章：
· 点估计（一）：基础知识
· 点估计（二）：矩估计
· 点估计（三）：极大似然估计/最大似然估计（Maximum Likelihood Estimate，MLE）
· 点估计（四）：最大后验估计（Maximum Posteriori Probability，MAP）

---

设总体$X$的分布形式已知，但它的一个或多个参数未知，借助于总体$X$的一个样本来估计总体未知参数值的问题称为参数的点估计。设总体$X\sim f(x;\theta )$，其中$f$的形式已知，$\theta$是未知参数．例如，总体$X\sim B(1,p)$，其中$p$未知，这个$p$即为标记总体分布的未知参数，简称总体参数。总体参数虽然是未知的，但是它可能取值的范围却是已知的．称总体参数的取值范围为参数空间，记作$\Theta$．例如，已知总体$X\sim N(\mu ,{\sigma }^2)$，其中$\mu$和${\sigma }^2$都未知，参数空间$\Theta =(\mu ,{\sigma }^2):-\infty <\mu <\infty ,{\sigma }^2>0$。

设$(x_1,x_2,\cdots ,x_n)$是取自总体$X$的一个样本，若用一个统计量$\hat{\theta }=\hat{\theta }(x_1,x_2,\cdots ,x_n)$来估计$\theta$，则称$\hat{\theta }$为参数$\theta$的一个点估计量。$\hat{\theta }$为参数$\theta$的一个估计量，则有$g(\hat{\theta })$为参数$g(\theta )$的一个估计量．在这里，构造统计量$\hat{\theta }$常用的方法有矩估计法、极大似然估计和最大后验估计等。