逻辑回归 glm.fit: fitted probabilities numerically 0 or 1 occurred

 

在训练出的模型中， 预测的值不是0就是1， 就是说数据被完美分开了， 这是有问题的

 

简单说， 追直观的问题就是在你使用模型预测的时候， 怎么选择decision boundary， 0.5？ 可是没有那条线了， 就是不管你0.5 还是0.1 0.2 0.8， 结果在训练集中都是一样的，但在预测时候就会有问题

 

这种情况下，一般会有过大系数的问题， 有的系数很大很大， 可以是用 正则化，对较大的系数施加惩罚， Lasso 或者岭回归， 可能会解决问题

 

另一只情况，就是多重共线性的问题， 可以查看VIF去 去除哪些VIF较大的变量