因变量二分类资料的Probit回归分析

最新推荐文章于 2024-05-16 00:45:34 发布

weixin_44755943

最新推荐文章于 2024-05-16 00:45:34 发布

阅读量535

点赞数 16

文章标签：分类回归数据挖掘

本文链接：https://blog.csdn.net/weixin_44755943/article/details/138201337

版权

回归是研究因变量Y对自变量X的依赖关系。当因变量Y为二值定类变量时，我们通常会选择使用logit回归，实际上还有一种方法是Probit回归。这两个区别在于模型中随机扰动项的先验服从什么分布：如果是正态分布就是probit模型，若为logistic分布就是logit模型。

一般情况下，在我们研究的回归模型中，都隐含的假定了因变量（Y）是定量的，而解释变量（X）是定量、定性（或虚拟变量）。

当因变量（Y）为二值定性的情况：比如一个家庭是否拥有一所住房，如拥有 Y=1，不拥有 Y=0，则被称为线性概率模型。

当因变量为二值时，X 与 Y 的关系如图中的点:

要预测的值y为期望

令

若用线性概率模型拟合因变量时，则会存在以下问题：

由于 E(Yi / Xi) 度量给定 X 事件下 Y 发生的概率，因此概率必须落在0与1之间，LPM无法保证的估计值落在 0 与 1 之间；
对于给定的 X，Y = 0 或Y= 1，因此所有的 Y 值必须落在 X 轴或者 Y=1 的一条直线上。而线性模型则无法很好的模拟这样的散点。
线性回归模型假定 Y 估计值随 X 而线性增加，即 X 的边际或临界效应（X连续增加的每一单位中所得到的Y增量）一直保持不变（一般边际效用是递减的）。

标准累计 Logistic 分布的函数：

建立 logit 与线性回归的关系：

可变换为

可解决上述线性概率模型的问题，可以很好的进行拟合。

当回归中因变量取 0 或 1 时，很容易使用 CDF（累计分布函数）取建立回归模型。当选用 logistic 时，称为logit模型；选用正态分布函数时，则是profit模型。

Logit模型是Logistic函数的累积概率函数，同样的，正态函数记为 �

Probit 变换与 Probit 回归模型如下：

对应的累计概率函数，即标准正态分布的累积概率函数：

如下图

绿色曲线为Probit，红色曲线为Logit，可见Probit模型与Logit模型很相似，可用于解决上面的二分类问题。

个体（非群组）数据的 Probit 模型的极大似然估计，假设我们对给定个人收入 X 的情况下估计一个人拥有住房的概率感兴趣，我们还假定这个概率可由 Probit 函数表示：

我们不能实际观测Pi，只能观测到结果 Y=1(有房)和 Y=0（无房）。

每个Pi都是一个伯努利随机变量，所以可写成：

假设我们有一个 n 次观测的随机样本。令fi（Yi）表示Yi=1或 0 的概率，观测到 n 个 Y 值的联合概率，即f（Y1,...,Yn）为：

每个 Yi 都是独立的，而且有相同的 logistic 密度函数，所以可以将联合密度函数写成个别密度函数的乘积。

我们对（1）取对数，便得到对数似然函数LLF:

根据员工满意度、月均工作小时、工伤事故、薪资水平四个影响因素(自变量)研究员工是否离职。

● 对于连续自变量的边际效应值的意义为：该自变量每增加一个单位，带来因变量的概率上升或下降多少百分比。
● 对于哑变量化的0-1分类自变量的边际效应值意义为：该变量每升高一个单位（即分类水平从0变为1），发生因变量的概率上升或下降了多少百分比。

员工满意度显著性值为0.000***，水平上呈现显著性，拒绝原假设，因此员工满意度会对是否离职产生显著性影响，意味着员工满意度每增加一个单位，离职概率比不离职的几率增加或减少了62.581%。

关注