逻辑回归

逻辑回归（Logistic Regression）一般用于二分类问题，用于建模样本属于某一类别的概率。

使用概率的好处是，在具体场景下可以通过设置不同的阈值以满足不同的需求。比如我们可能只会在明天有很大概率下雨时才会带伞，但却不愿将钱借给一个哪怕只有很小概率会赖账的人。概率阈值反映了我们的保守程度。

我们带着两个问题来阅读下面的内容：
1、为什么逻辑回归叫这么个奇怪的名字？
2、逻辑回归为什么是线性模型？

二分类问题：
$$P(X)=Pr(Y=1|X)$$
即，给定X，求Y=1的概率。

线性回归
$$p(X)={\beta }_0+{\beta }_{1}X$$

逻辑回归
$$\begin{array}{rl}p(X)& =\frac{e^{{\beta }_0+{\beta }_{1}X}}{1+e^{{\beta }_0+{\beta }_{1}X}}\\ & =\frac{1}{1+e^{-({\beta }_0+{\beta }_{1}X)}}\\ & =sigmoid({\beta }_0+{\beta }_{1}X))\end{array}$$
odds
$$\begin{array}{rl}odds& =\frac{p(X)}{1-P(X)}\\ & =e^{{\beta }_0+{\beta }_{1}X}\end{array}$$

$$log(odds)={\beta }_0+{\beta }_{1}X$$

log-odds也叫logit, 我们可以形象地将其称为 log it(对它取对数)

因为逻辑回归有一个logit，并且它是X的线性函数，因此我们说逻辑回归是一个线性模型。而Logistic这个名称其实就来源于logit。

最后要值得注意一点，因为逻辑回归的底层方法是使用回归方法拟合分类概率，因此它虽以回归为名，但却是分类模型。

对逻辑回归的损失函数及梯度推导感兴趣的朋友，可以阅读我的另外一篇博文二元交叉熵损失梯度推导。