logit回归模型_广义线性模型与R实现

1、线性模型

假设Y是正态分布，Y的条件均值是β的线性函数

2、指数分布族

假定Yi来自指数分布族，常见的正态分布、二项分布、泊松分布、伽马分布都是指数分布族

指数分布族的概率密度：

注：泊松分布和二项分布的φ=1

3、均值函数的扩展

为连接函数，一对一连续可导函数

,由于连接函数为一对一，因此

4、GLM的参数估计

4.1 极大似然估计

没有解析解，主要算法有牛顿迭代和fisher得分法，具体可参考链接

https://blog.csdn.net/sun_xiao_kai/article/details/87980907

对数似然函数

4.2 加权最小二乘

普通线性模型的目标函数

,y同方差

广义线性模型的目标函数

,g(y)不是同方差的

工作因变量(泰勒展开)：

迭代权数：

第4次就迭代稳定了

5、GLM的假设检验

5.1 Wald检验

估计量的期望和方差：

---delta方法

https://bayes-stat.github.io/download/largescale/delta.pdf

5.2 似然比检验

---

1、二分类数据回归

1.1 logit回归

连接函数：

均值函数：

边际效应：

补充：logit模型和logistic模型的区别

1. logit模型的右侧是对数优势比Odds，左侧是线性模型；
2. logistic模型的右侧是概率，左侧是非线性模型。

1.2 probit回归

连接函数：

均值函数：

边际效应：

2、过度散布问题（难）

原因：总体异质性

二项分布的总体参数不一致

待补充，俺还没理解

3、多分类数据回归

3.1 多项logit--以个体特征为协变量

(multinomial logit model,MNL)

连接函数：

#案例：响应变量为工作满意情况4类，自变量为收入（暂不考虑满意度的顺序）

library

模型结果解读：

收入每增加1k，优势比增加/缩减为原来的e^β倍

3.2 条件logit--以选项特征为协变量

连接函数：

3.3 混合模型

连接函数：

4、有序分类数据回归

记个体i为第j类的概率为：

个体i落在前j类的累积概率为：

累积连接函数：

4.1 有序logit

平行性假定：

说明：收入每增加1k，非常满意与（非常不满意、不满意、一般）的优势比缩减为原来的e^-0.04486=0.96倍；一般与（非常不满意、不满意）的优势比缩减为原来odds的0.96倍；不满意与非常不满意的优势比缩减为原来odds的0.96倍.

如果将顺序颠倒过来，则非常不满意与（不满意、一般、非常满意）的优势比增加为原来的1/0.96=1.046倍；同理。

4.2 有序probit

代码链接（lcj5）：

https://pan.baidu.com/s/1hIQRlFwxRQ6cU5q1oC8FvA​pan.baidu.com

---

精力和理解能力有限，还有嵌套logit等模型没有介绍~

下次学习了再更新。。。