逻辑(logistic)回归讲解以及手推

1、logistic回归的应用场景

• Logistic回归是一种用于解决二分类问题的机器学习方法，是一种判别模型：表现为直接对条件概率P(y|x)建模，而不关心背后的数据分布P(x,y)

• 用于估计某种事物的可能性。比如某用户购买某商品的可能性、某病人患有某种疾病的可能性、以及某广告被用户点击的可能性等。

注意：这里用的是“可能性”，而非数学上的“概率”，logisitc回归的结果并非数学定义中的概率值，不可以直接当做概率值来用。

---

2、为什么损失函数不选MSE,而采用极大似然估计？

• 答：对于线性回归，我们会选择MSE, 因为其J(θ)是凸函数，但是对于logistic回归，由于进行了sigmoid非线性映射就是非凸函数，所以可能在寻优的时候容易陷入局部最优，所以考虑把sigmoid作log，得到的J(θ)为：

对其求二阶导，结果大于0，说明其是凸函数，在用梯度下降法寻优时，可以保证找到全局最小。

---

3、logistic回归和线性回归的关系是什么？

• （