参数估计概念整理

参数估计：所谓参数估计即根据总体中抽取的样本估计总体分布中的未知参数。
分为点估计和区间估计两个部分


统计量：可以简单理解为根据样本构造的概率密度函数
参数空间：参数估计中，我们假设总体的概率密度函数已知，而未知的是函数中的几个参数，
用Θ表示。Θ的所有可能取值即为参数空间。


贝叶斯估计：针对贝叶斯分类，通常我们知道先验概率p(w)和类条件概率
p(x|w),根据贝叶斯公式可以求出后验概率p(w|x),据此可以对样本进行分类
。然而很多情况下，我们只有一些样本，而先验概率及类条件概率也需要估计得出。
如果训练样本的分布能够代表样本的真实分布，每个样本都是独立同分布iid，
则根据样本类别的频度可以估计出先验概率p(w)。而针对类条件概率可以由估计
概率密度p(x|w)转为估计参数，即根据样本和要求选择适当模型并进行参数估计。
即模型已定参数未知。


最大似然估计：利用已知的样本反推最有可能导致这样结果的参数值


似然函数：针对样本集D={x1,x2,x3....xn}来估计参数向量Θ，概率密度函数
p(D|Θ)成为相对于D的Θ的似然函数。l(Θ)=p(D|Θ)=∏(i=1 - i=n)p(xi|Θ)
若Θhat是参数空间内使l(Θ)最大的参数，则其为最可能的参数值，称作极大似然函数估计值。
Θhat为样本集的函数：Θhat=d(D)。