一、线性回归(Linear Regression)、逻辑回归(Logistic Regression)推导
1、线性回归(Linear Regression)原理及手工实现_解析解法、梯度下降法求解最优解
2、逻辑回归(Logistic Regression)原理
二、联系
逻辑回归的本质其实就是线性回归,但在最终预测的时候加了一层sigmoid函数。
即:线性回归+sigmoid函数=逻辑回归
三、区别
ps:LR好像更多的时候是逻辑回归(Logistic Regression)的缩写。
1、功能不同
线性回归:做预测、拟合函数。用于回归任务,例如用来拟合一条直线。
逻辑回归:做分类、预测函数。用于分类任务,二分类/多分类,是给定自变量和超参数后,得到因变量的期望,基于这个期望来处理预测分类问题。
2、计算参数方式
线性回归:使用最小二乘法求得解析解、梯度下降法。“基于均方误差(mean-square error, MSE)最小化来进行模型求解的方法称为“最小二乘法””–《机器学习》周志华
逻辑回归:最大似然估计、梯度下降法。
3、异常值
线性回归:容易受到异常值的影响。
逻辑回归:对异常值有较好的稳定性。