逻辑回归问题汇总

一句话概括： 逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。
包含了5个点 ： 1：逻辑回归的假设，2：逻辑回归的损失函数，3：逻辑回归的求解方法，4：逻辑回归的目的，5:逻辑回归如何分类。

---

1. Logistic回归与线性回归的区别与联系？

区别：
最大区别在于它们的因变量不同，Logistic回归与现行回归属于同一家族：广义线性模型。

• （1）线性回归处理的是回归问题，逻辑回归处理的是分类问题，这是本质区别；
• （2）线性回归要求因变量是连续型的，Logistic回归要求因变量是分类变量（离散变量）；
• （3）线性回归要求变量服从正态分布，Logistic回归对变量分布无要求；
• （4）线性回归要求自变量和因变量呈线性关系，Logistic并不要求；
• （5）Logistic回归是分析因变量取某个值的概率与自变量的关系，而线性回归是直接分析因变量与自变量的关系；
  更详细的区别如下图，参考学术群里结果：
  
  联系：
• （1）二者都使用了极大似然估计来对训练样本进行建模
  • 线性回归使用最小二乘法，实际上就是在自变量x与超参数θ确定，因变量y服从正态分布的假设下，使用极大似然估计的一个化简；而逻辑回归中通过对似然函数的学习，得到最佳参数θ；
• （2）二者在求解超参数的过程中，都可以使用梯度下降的方法，这也是监督学习中一个常见的相似之处。

---

2. Logistic回归有哪些基本假设?

逻辑回归的第一个基本假设是假设数据服从伯努利分布。
伯努利分布有一个简单的例子是抛硬币，抛中为正面的概率是$p$，抛中为负面的概率是$1-p$。
在逻辑回归里假设 $h_{\theta }(x)$ 为样本为正的概率，$1-h_{\theta }(x)$为样本为负的概率，那么模型可以描述为：
$h_{\theta }\left(x;\theta \right)=p$

逻辑回归的第二个假设是假设样本为正的概率是：
$p=\frac{1}{1+e^{-{\theta }^{T}x}}$

所以逻辑回归的最终形式 :
$h_{\theta }$