逻辑回归和线性回归相同点和不同点

 

相同点：

1. 两个都是线性模型，线性回归是普通线性模型，逻辑回归是广义线性模型
2. 表达形式上，逻辑回归是线性回归套上了一个Sigmoid函数
3. 参数估计上，都是用极大似然估计的方法估计参数

 

区别

1. 线性回归优化的目标函数是均方差（最小二乘），而逻辑回归优化的是似然函数（交叉熵）
2. 线性归回要求自变量与因变量呈线性关系，而逻辑回归没有要求
3. 线性回归分析的是因变量自身与自变量的关系，而逻辑回归研究的是因变量取值的概率与自变量的概率
4. 逻辑回归处理的是分类问题，线性回归处理的是回归问题，这也导致了两个模型的取值范围不同：0-1和实数域
5. 线性回归假设响应变量服从正态分布，逻辑回归假设响应变量服从伯努利分布
6. 参数估计上，都是用极大似然估计的方法估计参数（高斯分布导致了线性模型损失函数为均方差，伯努利分布导致逻辑回归损失函数为交叉熵）