Logistic Regression 的简单推导

Logistic Regression 是一种 Generalized Linear Model（GLM），也即广义线性模型。

1. LR 的基本假设

逻辑回归其实是假设事件发生比（odd）的对数为线性模型。

LR 模型假设观测值 $y$ 成立的对数几率（log-odds）能够表示为 $K$ 重输入变量的线性组合：

$$\log \frac{P(\mathbf{x})}{1-P(\mathbf{x})}=\sum _{j=0}^K{b}_j{x}_j$$

其中 $x_0=1$（特征向量进行增广），待求的模型共 $K+1$ 个参数。等式左边被称为 logit of P（这也是 logistic regression 得名的原因）。

等式两边同时取对数：

$$\frac{P(\mathbf{x})}{1-P(\mathbf{x})}=\exp \left(\sum _{j=0}^K{b}_j{x}_j\right)=\prod _{j=0}^K\exp \left(b_j{x}_j\right)$$

这样的等式形式清晰地说明了，logistic 模型与输入之间是乘性关系，而不是线性模型的加性关系，这种加性关系也给了我们一种解释系数的方式。比如 $\exp \left(b_j\right)$ 就表明了，随着 $x_j$ 增加一个单位（$x_j\Rightarrow x_j+1$），模型的输出为真的几率增加的大小（也即 $\exp \left(b_j\right)$）。考虑 $b_j=0.693$，则 $\exp \left(b_j\right)=2$，如果此时 $x_j$ 表达的是数值变量，比如年龄，$x_j$ 变量没增加 1 岁，模型输出为真的几率就变为之前的 2 倍。

如果记 $z=\sum _{j=0}^K{b}_j{x}_j$，上述等式又可转化为：

$$P\left(\mathbf{x}\right)=\frac{1}{1+\exp (-z)}$$

等式右端被称为 sigmoid 函数（关于 $z$），

---

• <a href=“http://www.win-vector.com/blog/2011/09/the-simpler-derivation-of-logistic-regression/”, target="_blank">The Simpler Derivation of Logistic Regression