Quasi- likelihood function

经典的估计方法有极大似然估计（MLE），最小二乘估计估计（OLS）

MLE假设数据的真实分布形式（eg. 正态）已知，只需要估计其中的未知参数

MLE具有相合性，渐进正态等大样本性质

---

Q1: 若数据的真实分布形式未知，能否使用MLE？性质如何？

很多时候，通过观测数据，我们并不能准确的知道产生数据的分布具体是什么形式。但是我们可以知道数据的一些信息，比如：

• 数据是离散还是连续的

• 数据之间是否相互独立

• 数据的均值，方差，中位数等

Q2: 如何利用数据的这些信息进行参数估计？

---

逼近似然函数（build approximation to the likelihood function）!!!

Q3: 怎么构建逼近模型？

---

Quasi-Likelihood Functions, Generalized Linear Models, and the Gauss-Newton Method 定义了Quasi- likelihood function：

1.假设独立抽样为$y_1,\ldots,y_n$, 均值为$\mu$,方差$V$,假设正态，分布函数为

$$l=exp\{-\frac{(y-\mu)^2}{2V}\}$$
则有

$$\frac{\partial \log l}{\partial \mu}=\frac{y-\mu}{V}$$

2.假设独立抽样为$y_1,\ldots,y_n$, 均值为$\mu$,方差$V(\mu)$:

Quasi-Likelihood Functions定义为 $K(y_i,\mu_i)$:

$$\frac{\partial K(y,\mu)}{\partial \mu}=\frac{y-\mu}{V(\mu)}$$
左右两边积分即可得到 $K(y_i,\mu_i)$.

maximum quasi likelihood function estimation

Quasi-likelihood in R 给出了R代码。

https://v8doc.sas.com/sashtml/insight/chap39/sect9.htm 具体数例。

Quasi-likelihood functions 讨论了估计的相合性和渐进正态性。

更多的可以参考：
https://faculty.washington.edu/heagerty/Courses/b571/handouts/OverdispQL.pdf