经典的估计方法有极大似然估计(MLE),最小二乘估计估计(OLS)
MLE假设数据的真实分布形式(eg. 正态)已知,只需要估计其中的未知参数
MLE具有相合性,渐进正态等大样本性质
Q1: 若数据的真实分布形式未知,能否使用MLE?性质如何?
很多时候,通过观测数据,我们并不能准确的知道产生数据的分布具体是什么形式。但是我们可以知道数据的一些信息,比如:
数据是离散还是连续的
数据之间是否相互独立
数据的均值,方差,中位数等
Q2: 如何利用数据的这些信息进行参数估计?
逼近似然函数(build approximation to the likelihood function)!!!
Q3: 怎么构建逼近模型?
Quasi-Likelihood Functions, Generalized Linear Models, and the Gauss-Newton Method 定义了Quasi- likelihood function:
1.假设独立抽样为
y1,…,yn
, 均值为
μ
,方差
V
,假设正态,分布函数为
则有
2.假设独立抽样为 y1,…,yn , 均值为 μ ,方差 V(μ) :
Quasi-Likelihood Functions定义为
K(yi,μi)
:
左右两边积分即可得到 K(yi,μi) .
maximum quasi likelihood function estimation
Quasi-likelihood in R 给出了R代码。
https://v8doc.sas.com/sashtml/insight/chap39/sect9.htm 具体数例。
Quasi-likelihood functions 讨论了估计的相合性和渐进正态性。
更多的可以参考:
https://faculty.washington.edu/heagerty/Courses/b571/handouts/OverdispQL.pdf