应用广义线性模型三|多响应广义线性模型

系列文章目录

---

如果响应变量是多水平的分类变量，建模时不能将这类响应变量处理成取多个不同值的单变量，而应将其按照哑变量编码，结果形成二维响应变量。

一、多响应变量模型

多响应变量：
分类变量$Y$的量化方法是将其k个类别量化为整数1到k，这样Y就形式上称为取值为 { 1 , . . . , k } \{1,...,k\} {1,...,k}的数值变量，称之为多响应变量，或整值响应变量。但是Y的不同值之间的加减乘除运算没有实际意义，因此在已知X的情况下Y的概率加权平均就没有实际意义，即$E(Y|X)$没有实际意义。

记$q=k-1$，就可以将Y量化为哑变量编码： Y = ( 1 { 类 1 } ( Y ) , . . . , 1 { 类 q } ( Y ) ) Y=(1_{\{类1\}}(Y),...,1_{\{类q\}}(Y)) Y=(1{类1}​(Y),...,1{类q}​(Y))，称这个向量为多响应向量，或哑值响应变量，第k分类为参考类。
E ( Y ∣ X ) = ( E ( 1 { 类 1 } ( Y ) ∣ X ) , . . . , E ( 1 { 类 q } ( Y ) ∣ X ) ) = ( P ( Y = 1 ∣ X ) , . . . , P ( Y = q ∣ X ) ) \begin{aligned} E(Y|X)=&(E(1_{\{类1\}}(Y)|X),...,E(1_{\{类q\}}(Y)|X))\\ =&(P(Y=1|X),...,P(Y=q|X)) \end{aligned} E(Y∣X)==​(E(1{类1}​(Y)∣X),...,E(1{类q}​(Y)∣X))(P(Y=1∣X),...,P(Y=q∣X))​

$E(Y|X)$唯一决定Y的条件密度，即其刻画了在已知X情况下Y的随机变化规律。

多响应广义线性模型：
多响应广义线性模型，简称多响应模型，$Z=Z(X)$为多响应模型的设计向量，$\beta$为模型参数，$h$为响应函数。
$$E(Y|X)=h(Z\beta )$$

若Y与解释变量X有关系，则他的条件期望就应该与X有关系，即存在（可逆）映射：
$$h(\eta )=(h_1(\eta ),...,h_q(\eta ))$$
当响应函数$h$可逆时，$g=h^{-1}$为连接函数，进而可以将多响应广义线性模型表示为：
$$g(E(Y|X))=Z\beta$$

多响应逻辑回归模型：
当响应函数$h$的第$r$分量为：
$$h_r(s_1,...s_q)=\frac{exp(s_r)}{1+{\sum }_{j=1}^{q}exp(s_j)},1\le r\le q$$
模型即为多响应逻辑回归模型。

二、多响应分布及简单性质

对于k分类响应变量Y，记：$\pi =({\pi }_1,...,{\pi }_q),{\pi }_i=P(Y=i),1\le i\le q=k-1$，则Y的哑变量编码Y服从多响应分布，其密度为：
$$P(Y=(y_1,...,y_q))=(1-\sum _{k=1}^q{\pi }_k{)}^{1-{\sum }_{k=1}^q{y}_k}\prod _{i=1}^q{\pi }_i^{y_i}$$
多响应向量Y的数学期望和方差矩阵：
$$E(Y)=\pi$$
又由哑变量编码结构知Y的分量为0或1，且至多只有一个分量为1，因此：$Y^{T}Y=diag(Y)$，进而有：
$$Var(Y)=E(Y^{T}Y)-(E(Y){)}^{T}E(Y)=diag(\pi )-{\pi }^T\pi$$

三、模型参数的极大似然估计

对于来自多响应广义线性模型的独立观测样本$(X_i,Y_i),1\le i\le n$，则：
$$({\pi }_1(X_i),{\pi }_2(X_i),...,{\pi }_q(X_i))=E(Y_i|X_i)=h(Z_i\beta )$$
且有：
$$\begin{array}{rl}P(Y_i=(y_1,...,y_q)|X_i)=& (1-\sum _{k=1}^q{\pi }_k(X_i){)}^{1-{\sum }_{k=1}^q{y}_k}\prod _{k=1}^q({\pi }_k(X_i){)}^{y_i}\\ =& (1-\sum _{k=1}^q{h}_k(Z_i\beta {)}^{1-{\sum }_{k=1}^q{y}_k}\prod _{k=1}^q(h_k(Z_i\beta ){)}^{y_i}\end{array}$$

因此第i观测的似然函数为：
$$L_i(\beta )=(1-\sum _{k=1}^q{h}_k(Z_i\beta {)}^{1-{\sum }_{k=1}^q{Y}_k}\prod _{k=1}^q(h_k(Z_i\beta ){)}^{Y_k}$$

得分函数用于评估参数估计的好坏：
假设我们有一个参数为向量$\theta$的模型，它对分布$p(x|\theta )$建模。在频率派统计学中，学习$\theta$的方法是最大化$p(x|\theta )$与参数$\theta$的似然。为了评估我们对$\theta$估计的好坏，定义了评分函数：（对数似然函数的梯度）
$$s(\theta )={\nabla }_{\theta }\log p(x|\theta )$$
Fisher信息矩阵用于评估对于估计值的把握：
围绕估计值的期望，根据模型评分的协方差定义一个不确定性度量：
$$E_{p(x|\theta )}[(s(\theta )-0)(s(\theta )-0{)}^T]=E_{p(x|\theta )}[\nabla \log p(x|\theta )\nabla \log p(x|\theta {)}^T]$$

四、多响应模型的假设检验

（一）关于模型参数的假设检验

多响应模型中模型参数的假设检验问题： $H_0:C\beta =\xi$

• $C$是已知的$s\times t$行满秩矩阵，称为限制矩阵
• $\xi$为已知的s维列向量，称为限制向量
• $\beta =({\beta }_1,...,{\beta }_t{)}^T$是模型参数

在一般条件下模型参数的极大似然估计：
$$\hat{\beta }\stackrel{\text{a}}{\sim }N(\beta ,F^{-1}(\hat{\beta }))$$

对数似然比统计量：
$$\lambda =-2(l(\tilde{\beta }-(\hat{\beta }))\stackrel{\text{a}}{\sim }{\chi }^2(s)$$

Wald统计量：
Wald统计量为$C\hat{\beta }$与$C\beta =\xi$之间距离的加权平均：
$$W=(C\hat{\beta }-\xi {)}^T(C(F(\hat{\beta }){)}^{-1}{C}^T{)}^{-1}(C\hat{\beta }-\xi )\stackrel{\text{a}}{\sim }{\chi }^2(s）$$

• $\hat{\beta }$是极大似然估计量
• $F^{-1}(\hat{\beta })$为Fisher信息矩阵的逆矩阵

得分统计量：
$$U=s(\tilde{\beta })F^{-1}(\tilde{\beta })(s(\tilde{\beta }){)}^T\stackrel{\text{a}}{\sim }{\chi }^2(s）$$

• $s$为得分函数
• $\tilde{\beta }$为限制极大似然估计
• $F^{-1}(\tilde{\beta })$为Fisher信息矩阵的逆矩阵在限制极大似然估计点处的值

标准化统计量：
实际应用时会经常关心模型参数的第$i$分量${\beta }_i$是否为0，如果为0，就说明响应变量与设计向量的第$i$个分量没有关系，否则响应变量就与设计向量的第i个分量有关系。
$$H_0:{\beta }_i=0$$
这个假设检验问题可以使用似然比统计、Wald统计量或得分统计量来简答，但是也有更简单的统计量：
$$Z_i=\frac{{\hat{\beta }}_i}{\sqrt{a_{ii}}}$$
其中，$a_{ii}$为$F(\hat{\beta }){)}^{-1}$的对角线上的第i个元素。在原假设成立的条件下，$Z_i\stackrel{\text{a}}{\sim }N(0,1)$，因此用标准化统计量解答假设检验问题的p值为：
$$P(|Z_i|\ge |z_i|)=2\Phi (-|z_i|)$$
当p值小于显著性水平时拒绝原假设，否则接受原假设。

（二）关于模型的拟合优度检验

皮尔逊统计量是衡量响应广义线性模型拟合效果的指标之一：
$${\chi }^2=\sum _{i=1}^g{n}_i(\overline{Y_i}-h(Z(x_i)\hat{\beta }))V_i^{-1}(\overline{Y_i}-h(Z(x_i)\hat{\beta }){)}^T$$
其中：
Y i ˉ = 1 n i ∑ j = 1 n 1 { x i } ( X j ) Y j \bar{Y_i}=\frac{1}{n_i}\sum_{j=1}^n1_{\{x_i\}}(X_j)Y_j Yi​ˉ​=ni​1​j=1∑n​1{xi​}​(Xj​)Yj​
且：
$$V_i=diag(h(Z(x_i)\hat{\beta }))-(h(Z(x_i)\hat{\beta }){)}^{T}h(Z(x_i)\hat{\beta })$$
在皮尔逊统计量中，$\overline{Y_k}-h(Z(v_k)\hat{\beta })$是频率与概率估计值之差，$\hat{D}(\overline{Y_k})=\frac{h(Z(v_k)\hat{\beta })(1-h(Z(v_k)\hat{\beta }))}{n_k}$是$D(\overline{Y_k})$的估计值，显然：$\frac{({\bar{Y}}_k-h(Z(v_k)\hat{\beta }){)}^2}{\hat{D}(\overline{Y_k})}$越小，说明用$h(Z(v_k)\hat{\beta })$估计$P(Y|X=v_k)$的效果越好。因此可以用其和${\chi }^2$来衡量广义线性模型的拟合效果：皮尔逊统计量${\chi }^2$越小，拟合的效果越好。

对于分组数据，皮尔逊计量要求各个$n_k$都很大的情况效果才会好，当$n_i$很小，甚至等于1的情况，皮尔逊统计量比较模型的效果会很差。

偏差统计量：
f t j = 1 n t ∑ i ∈ { m : X m = x t } 1 { j } ( Y i ) , 1 ≤ t ≤ g , 1 ≤ j ≤ k f_{tj}=\frac{1}{n_t}\sum_{i\in\{m:X_m=x_t\}}1_{\{j\}}(Y_i),1\leq t\leq g,1\leq j\leq k ftj​=nt​1​i∈{m:Xm​=xt​}∑​1{j}​(Yi​),1≤t≤g,1≤j≤k
是第t样本点组中 { Y = j } \{Y=j\} {Y=j}的频率。记：
$$l_0=\sum _{t=1}^g(n_t\sum _{j=1}^k{f}_{tj}log{f}_{tj})$$
约定当$f_{tj}=0$时$f_{tj}log{f}_{tj}=0$。称：
$$D=2(l_0-l(\hat{\beta }))$$
为广义线性模型的偏差统计量，该统计量越小，模型的拟合效果越好。

五、多响应广义线性模型的应用

（一）选择模型

• 通过假设检验问题判断变量在模型中是否有作用
• 当解释变量 W = ( W 1 1 { 1 } ( Y ) , . . . W k 1 { k } ( Y ) ) W=(W_11_{\{1\}}(Y),...W_k1_{\{k\}}(Y)) W=(W1​1{1}​(Y),...Wk​1{k}​(Y))时，即为类别解释变量，此时可以选择设计矩阵为：
  $$Z(X,W)=\left(\begin{array}{cccccc}1& X& & & & W_1-W_k\\ & & \ddots & & & ⋮\\ & & & 1& X& W_q-W_k\end{array}\right)$$
  • 其中$X$是与响应变量取值无关的p维解释变量，称为全局解释变量
  • 参数$\beta =({\beta }_1,...,{\beta }_q)$中${\beta }_r=({\beta }_{0,r},{\beta }_{1,r},...,{\beta }_{p,r})$与类别有关，称为类别参数；参数$\gamma$与类别无关，称为全局参数。

（二）次序响应变量模型

次序响应变量模型中，响应变量的分类具有次序的含义。此时可以按分类次序将响应变量编号为$1,\mathrm{2...},k$，使得编号具有两层含义：其一是分类，其二是次序。次序能供更多的信息。

累积模型：
假设我们有一个次序分类响应变量$Y$，其可能取值为 { 1 , 2 , . . . , k } \{1,2,...,k\} {1,2,...,k}，假设存在一个潜变量$U$，这个潜变量具有某种连续分布函数，并且其值被以下实数阈值所决定：
$$-\infty ={\theta }_0<{\theta }_1<...<{\theta }_k=\infty$$
即，类别$Y$是由潜变量$U$和这些阈值之间的关系决定的：
$$Y=r⟺{\theta }_{r-1}<U\le {\theta }_r$$
对于解释变量$X$，通常假设潜变量$U=-X\gamma +ϵ$，其中$ϵ$的分布函数为$F$，得：
$$P(Y\le r|X)=P(U\le {\theta }_r|X)=P(-X\gamma +ϵ\le {\theta }_r)=p(ϵ\le {\theta }_r+X\gamma )=F({\theta }_r+X\gamma )$$
称之为累计模型。

累积逻辑回归模型：
取：
$$F(X)=\frac{1}{1+exp(-x)}$$
即得累积逻辑回归模型：
$$P(Y\le r|X)=\frac{exp({\theta }_r+X\gamma )}{1+exp({\theta }_r+X\gamma )}$$
它的等价表示是优势：
$$\frac{P(Y\le r|X)}{P(Y>r|X)}=exp({\theta }_r+X\gamma )$$
优势比为：
$$\frac{P(Y\le r|X_1)/P(Y>r|X_1)}{P(Y\le r|X_2)/P(Y>r|X_2)}=exp((X_1-X_2)\gamma )$$

分组Cox模型或比例风险模型：
取极小值分布：
$$F(X)=1-\exp (-\exp (X))$$
模型就成为了极小值分布概率模型或chaglog模型：
$$P(Y\le r|X)=1-\exp (-exp({\theta }_r+X\gamma ))$$

极大值分布模型：
取极大值分布：
$$F(X)=\exp (-\exp (-X))$$
模型就成为了极小值分布概率模型或chaglog模型：
$$P(Y\le r|X)=\exp (-exp(-({\theta }_r+X\gamma )))$$

累计模型的响应函数：
由：$P(Y=r|X)=F({\theta }_r+X\gamma )-F({\theta }_{r-1}+X\gamma )$得该模型的响应函数$h$的第$r$分量：
$$h_r(u)=F(u_r)-F(u_{r-1})$$

（三）累积模型的推广

累积模型假设阈值${\theta }_1,...,{\theta }_k$均与解释变量无关，累计模型的推广就是将其推广为假设阈值与解释变量$W$有线性关系：${\theta }_r={\beta }_{r,0}+W{\beta }_r,1\le r<k$

推广的累计模型为：
$$P(Y\le r|x)=F({\beta }_{r,0}+W{\beta }_r+X\gamma )$$

推广累计模型的响应函数：
由：$P(Y=r|X)=F({\beta }_{r,0}+W{\beta }_r+X\gamma )-F({\beta }_{r,0}+W{\beta }_{r-1}+X\gamma )$得该模型的响应函数$h$的第$r$分量：
$$h_r(u)=F(u_r)-F(u_{r-1})$$

（四）序贯模型

在许多应用中，有序响应变量是由一个序贯机制作用的结果：对于一个体，其响应值从状态1开始，依次增加。当个体进入状态r后，它可能最终停留在这个状态，也可能进入下一个状态r+1。

假设潜变量$U_r=-X\gamma +{ϵ}_r$，其中${ϵ}_r$独立同分布，共同的分布函数为$F$，

• 响应变量$Y$的值是否滞留在状态$r$由潜变量$U_r$刻画：$$Y=r|Y\ge r⟺U_r\le {\theta }_r$$
• 或等价地：
  $$Y>r|Y\ge r⟺U_r>{\theta }_r$$

这种条件事件刻画的是序贯机制:当状态到达r之后，不能退回到r-1(由所给条件所限定);状态是否能发展为r+1由潜变量U是否能大于阈值所决定。在序贯模型中，各个阈值之间没有大小关系的限制。

由潜变量的线性结构及序贯机制得到序贯模型为：
$$P(Y=r|Y\ge r,X)=F({\theta }_r+X\gamma )$$
与累计模型不同，序贯模型的条件概率表明状态不可逆转。

（五）两步模型

累积模型和序贯模型都是基于响应变量的序机制建立的模型。在实际中还常见响应值可自然地分成不同的类别集合，每个集合内的值有相近的分类特征，不同集合的分类特征不相同。此时可以用两步模型拟合数据。