逻辑回归总结

Logistic Regression

逻辑回归与线性回归的联系与区别

联系

都是监督学习。都无法解决非线性问题

区别

• 逻辑回归：虽然有regression一词，但实际上是分类问题（classification）。输出值是离散变量。
• 线性回归：回归问题，输出值是连续变量。

逻辑回归的原理

逻辑回归损失函数推导及优化¹

逻辑回归的优缺点

• 优点： 从实现几种常见算法的经验来看，个人认为该方法简单易实现。
• 缺点：无法解决非线性问题，即只能通过在图中画直线来进行分类，具有一定限制性。

样本不均衡问题解决办法

类似于疾病检测类问题，事实上得病的几率通常都很低，因此运用分类的时候会导致分类不均衡问题。
可以考虑对样本量较多的类别进行欠采样，对类别较少的进行过采样。

参考资料

• 吴恩达机器学习https://study.163.com/course/courseMain.htm?courseId=1004570029

---

1. Dan Jurafsky and James Martin, Speech and Language Processing (3nd ed. draft) ↩︎