为什么泊松回归在变量高相关情况下表现不佳

1、多重共线性

  在此之前我们先解释变量高相关的本质。

  多重共线性问题描述的是在线性回归模型中解释变量（X）之间具有高度相关性的现象。当自变量之间存在这种高相关时，会导致模型的参数估计精度降低或难以准确估计。
  我们称完全多重共线性情况是指矩阵$X^{T}X$严格不可逆的情况。

在LRM（线性回归模型）中：
  构建一个线性回归模型
$$Y=X\beta +\epsilon$$其中$Y$为$n\times 1$的矩阵，$X$为$n\times p$的矩阵，$\epsilon$为误差向量。通过LS（最小二乘估计）可以得到参数估计为
$$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}Y$$从参数估计的表达式中不难发现，当$X^{T}X$的逆不存在的情况下，参数估计值可能不存在。

接着我们分析在$X$具有满秩，而$X^{T}X$可逆时
估计参数的协方差矩阵为：
$$Cov(\hat{\beta })={\sigma }^2(X^{T}X{)}^{-1}$$其中${\sigma }^2$为误差方差，上式可以改写为：
$$Cov(\hat{\beta })={\sigma }^2\sum _{k=1}^K{p}_k(1/{\lambda }_k)p_k^T$$ $p$为$X^{T}X$的特征向量，$\lambda$为$X^{T}X$的特征值。当$X^{T}X$的特征值很小时，回归系数的方差不可避免的增大。

参考文献：Tormod（2001）Understanding the collinearity problem in regression and discriminant analysis

2、多重共线性下的泊松回归

  在泊松回归下，响应变量$Y$应服从泊松分布$P_0({\mu }_i)$，其中${\mu }_i=exp(x_i\beta )$为泊松分布的均值，$x_i$为$n\times p$的数据矩阵$X$的第$i$行，$\beta$为$p\times 1$的回归系数。

  求解泊松回归模型的参数最常用的方法是最大似然估计法（ML）

首先构建似然函数：$$\begin{array}{rl}l(\mathbf{\mu };\mathbf{y})& =\sum _{i=1}^n{y}_i\log \left({\mu }_i\right)-\sum _{i=1}^n{\mu }_i-\log \left(\prod _{i=1}^n{y}_i!\right)\\ & =\sum _{i=1}^n{y}_i\log \left(\exp \left({\mathbf{x}}_i\mathbf{\beta }\right)\right)-\sum _{i=1}^n\exp \left({\mathbf{x}}_{\mathbf{i}}\mathbf{\beta }\right)-\log \left(\prod _{i=1}^n{y}_i!\right)\end{array}$$通过以下的等式求解参数估计值：
$$S(\beta )=\frac{\partial l(\mu ;y)}{\partial \beta }=\sum _{i=1}^n(y_i-\exp (x_i\beta ))x_i=0$$由于求解上式是一个非线性问题，通过迭代加权最小二乘算法（ iterative weighted least square (IWLS)）求解得到：
$${\hat{\beta }}_{ML}=(X^T\hat{W}X{)}^{-1}{X}^T\hat{W}\hat{z}$$其中$\hat{W}=diag[{\hat{\mu }}_i]$，$\hat{z}$是等式${\hat{z}}_i=\log ({\hat{\mu }}_i)+\frac{y_i-{\hat{\mu }}_i}{{\hat{\mu }}_i}$构成的向量的第i个元素。ML 估计量是渐近正态分布的，协方差矩阵对应于二阶导数矩阵的倒数：
$$\mathrm{Cov}\left({\hat{\mathbf{\beta }}}_{\mathbf{ML}}\right)={\left[-E\left(\frac{{\partial }^{2}I}{\partial {\beta }_j\partial {\beta }_k^{\prime }}\right)\right]}^{-1}={\left({\mathbf{X}}^{\prime }\hat{\mathbf{W}}\mathbf{X}\right)}^{-1}$$此外，估计的MSE为：
$$E\left(L_{ML}^2\right)=E{\left({\hat{\mathbf{\beta }}}_{\mathbf{ML}}-\mathbf{\beta }\right)}^{\prime }\left({\hat{\mathbf{\beta }}}_{\mathbf{ML}}-\mathbf{\beta }\right)=\mathrm{tr}\left[{\left({\mathbf{X}}^{\prime }\hat{\mathbf{W}}\mathbf{X}\right)}^{-1}\right]=\sum _{j=1}^J\frac{1}{{\lambda }_j},$$其中，${\lambda }_j$为$X^T\hat{W}X$矩阵的第j个特征值，$\left(L_{ML}^2\right)$表示估计量的损失，当变量间具有高相关时，$X^{T}X$的特征值较小，导致$E\left(L_{ML}^2\right)$增大；通过$X^T\hat{W}X$我们不难发现，在解释变量与叉乘的加权矩阵具有高相关时，将会导致ML估计量的不稳定性和高方差，在这种情况下，很难去解释待估参数。

参考文献：Månsson, K., & Shukur, G. (2011). A Poisson ridge regression estimator. Economic Modelling, 28(4), 1475–1481. doi:10.1016/j.econmod.2011.02.