机器学习基础（三十八） —— 从几率到逻辑斯函数

odds 几率，又称事件的优势比。几率和概率的关系如下：

$$o=\frac p{1-p}\\ p=\frac o{1+o}$$

Logistic 回归模型的因变量只有 1/0 两种取值。假设在 $p$ 个独立自变量 $x_1,x_2,\ldots,x_p$ 作用下，记 $y$ 取 1 的概率 $p=P(y=1|\mathbf x)$，取 0 的概率是 $1-p$：

$$P(y=0|\mathbf x)=1-P(y=1|\mathbf x)$$

取 1 和取 0 的概率之比为 $\frac p{1-p}$，称为事件的优势比（odds），对 odds 取自然对数记得 Logistic 变换：

$$\text{Logbit}(p)=\ln\frac p{1-p}$$
令 $\ln \frac p{1-p}=z$，则
$$p=\frac1{1+e^{-z}}$$

即为 Logistic 函数。

$p$ 在 (0, 1) 之间变化时，

• odds 的取值范围：$(0, +\infty)$
  • $\ln \frac p{1-p}$ 的取值范围为：$(-\infty,+\infty)$