再谈probit回归和logistic回归

再谈probit回归和logistic回归

看到有网友留言关于probit回归的问题，这一篇文章再谈一下probit和logistic的关系。

probit回归和logistic回归几乎可以用于相同的数据，对于二分类因变量，这两种方法的结果十分类似。那他们到底有什么区别呢？

如果从分布角度来讲，logit函数和probit的函数几乎重叠，但反映的含义不同，logit等于p/（1-p），这里p是结局发生的概率，而probit的函数是F-1（p），注意-1是上标。F是累积的标准正态分布函数，所以F-1就是累积标准正态分布函数的逆函数或反函数。

从解释的角度来讲，logit更容易理解一些，因为p/（1-p）就是我们常说的odds，两个odds相比就是odds ratio，也就是我们最常用的OR值。所以当我们做出结果后，logistic回归所反应的实际意义就非常直观。而相比之下，probit的含义表示自变量对累积标准正态分布函数的逆作用，这个就太让人看不懂了。当然，实际上我们也可以通过正态分布值求出probit回归中的p，作为概率预测，只是比logistic回归要稍微麻烦一些。

但这两个方法之间也是有关联的，通常情况下，probit回归估计出的参数值乘以1.814，大致会等于logistic回归中的参数值。

实际中具体选择哪个方法呢？据笔者所查阅的文献，尚未发现有理论依据，更多的仍是根据个人习惯。从文献的应用情况来看，logistic回归的应用远远多于probit回归，这主要是因为logistic回归的易解释性，而不是logistic回归比probit回归更好或更适合数据。

但probit回归并不是说就要被logistic回归替代了，从预测的角度来看，probit回归还是有较强的使用价值的。其预测概率效果与logistic回归一样的好。如果你确实想知道到底你的数据用哪一个方法好，也不是没有办法，你可以看一下你的残差到底是符合logit函数呢还是符合probit函数，当然，凭肉眼肯定是看不出来的，因为这两个函数本来就很接近，你可以通过函数的假定，用拟合优度检验一下。但通常，估计不会有人非要这么较真，因为没有必要。如果你的因变量是二分类，你无论用哪种方法，都不能说错。萝卜青菜，各有所爱而已。