[机器学习笔记] Logistic Regression与Linear Regression的区别

逻辑回归（Logistic Regression）与线性回归（Linear Regression）的区别

 

Logistic Regression

• 应用于分类问题
• 除了可以解决二分类问题外，还可以解决多分类问题。
• Logistic Regression 是离散的。例如预测明天天气-阴，晴，雨。分类问题是用于将事物打上一个标签，通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。最常见的分类方法是逻辑回归，或者叫逻辑分类。
• Logistics Regression仍然属于线性回归的范畴，因为分界面是线性的，而且Logistics Regression是广义线性模型（GLM）或者叫对数线性模型（LLM）；
• Logistics Regression则取对数似然的最大，做梯度下降往正梯度方向，但有时为了与线性回归保持一致，通常会取负对数似然；
• 一般而言，LR指的是Logistics Regression，而非Linear Regression；
• Logistics Regression与Softmax Regression是真正做分类的首选，由于方法简单，易于实现，效果良好，易于解释，除了用于分类，还可以用于推荐系统；