经常说线性模型,线性回归模型,广义线性模型,广义线性混合模型.......之类的词好几个,搞得不好就容易混淆了。下面一起来复习下。
1、线性回归模型(也称经典线性模型classic linear model或者一般线性模型General linear model)
适用于自变量X和因变量Y为线性关系,具体来说,画出散点图可以用一条直线来近似拟合。
模型可以表达为: { y=βX+ε ε∼MVN(0,σ2In) ,其中 ε 是随机误差, MVN 为多元正态分布。
模型有几个基本假设:自变量之间无多重共线性;随机误差随从0均值,同方差的正态分布;随机误差项之间无相关关系。
参数使用最小二乘法进行估计。
假设检验有两个,一个是参数的检验,使用t检验;另一个是整个模型的检验,使用F检验,在构造F统计量时,需要把模型的平方和进行分解,会使用到方差分析。
此外,判定系数R2和修正判定系数 R¯2 都需要使用到方差分析的结果。
2、线性混合模型(Linear Mixed Model)
线性模型中加入随机效应项。
模型可以表达为: ⎧⎩⎨ Y=βX+Zγ+ε γ∼MVN(0,G)ε∼MVN(0,R) ,其中 Y,Xβ 的意义和线性回归的意义相同, Xβ 是固定效应部分, Zγ 是随机效应部分,G,R都是协方差矩阵。
同时假定 Cov(G,R)=0 ,即G和R之间无相关关系。
为了使用上的麻烦,统计学家提供了几种协方差的形式供大家使用。
3、广义线性模型(Generalized Linear Model即GLM)
广义线性模型,是为了克服线性回归模型的缺点出现的,是线性回归模型的推广。
首先自变量可以是离散的,也可以是连续的。离散的可以是0-1变量,也可以是多种取值的变量。
与线性回归模型相比较,有以下推广:
(1)随机误差项不一定服从正态分布,可以服从二项、泊松、负二项、正态、伽马、逆高斯等分布,这些分布被统称为指数分布族。
(2)引入联接函数 g(⋅) 。因变量和自变量通过联接函数产生影响,即 Y=g(Xβ) ,联接函数满足单调,可导。常用的联接函数有恒等( Y=βX ),对数( Y=ln(βX) ),幂函数( Y=(βX)k ),平方根( Y=βX−−−√ ),logit( ln(Y1−Y)=βX )等。
根据不同的数据,可以自由选择不同的模型。大家比较熟悉的Logit模型就是使用Logit联接、随机误差项服从二项分布得到模型。
4、广义线性混合模型(Generalized Linear Mixed Model即GLMM)
这个也好理解,就是在GLM的基础上,加了随机效应项。