逻辑回归模型公式推导

1. 二项逻辑回归

1.1 对数几率

$Logistic$ 回归需要做的就是找到分类概率 $P(Y=1)$ 与输入向量 $x$ 的直接关系，然后通过比较概率值来判断类别。所以，我们必须找到一个函数，使输入向量能够直接映射到概率所属的 $[0,1]$ 中，且该函数最好是连续可导的，方便进行参数的优化，于是我们找到了以下的函数
$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$
我们将一个正例的概率与反例概率的比称之为几率，其对数形式就称为对数几率，设 $y$ 为正例的概率，对数几率表达为 $ln\frac{y}{1-y}$。将上面的函数式带入得到：
$$ln\frac{y}{1-y}=w^{T}x+b$$又因为 $y$ 为正例，即 $P(Y=1|x)$ ，将其带入可得：
$$ln\frac{P(Y=1|x)}{1-P(Y=1|x)}=w^{T}x+b$$整理得到：
$$P(Y=1|x)=\frac{1}{1+e^{-(w^{T}x+b)}}$$所以反例的概率为 $1-y$，即
$$P(Y=0|x)=\frac{e^{-(w^{T}x+b)}}{1+e^{-(w^{T}x+b)}}$$

1.2 损失函数

在这里回归的函数较常使用的是平方差公式来作为损失函数，但是，如果在这里也使用平方差公式的话是不可以的，原因在于 $Sigmoid$ 函数，即 $y=\frac{1}{1+e^x}$ 是一个复杂的非线性函数，我们将逻辑回归的假设函数带入上式中，得到是一个非凸函数，函数包含多个局部极小值点，使用梯度下降法求解损失函数最小值时，可能导致函数最后结果并非总是全局最小。所以，我们需要为逻辑回归找到一个凸代价函数，最常用的损失函数就是使用极大似然求解的式子，其可以为逻辑回归提供一个凸的代价函数，这样有利于使用梯度下降对参数求解。

令 $P(Y=1|x)=g(x)$ 对逻辑回归使用极大似然法进行计算的式子为：
$$\prod _{i=1}^{N}g(x_i{)}^{y_i}[1-g(x_i){]}^{1-y_i}$$使用对数似然得到：
$$\begin{array}{rl}L(w)& =\sum _{i=1}^N[y_i\log g(x_i)+(1-y_i)\log (1-g(x_i))]\\ & =\sum _{i=1}^N[y_i\log \frac{g(x_i)}{1-g(x_i)}+\log (1-g(x_i))]\\ & =\sum _{i=1}^N[y_i(w\cdot x_i)-\log (1+e^{w\cdot x_i})]\end{array}$$对 $w$ 求导即可得到估计的参数。

2. 多项逻辑回归

上面介绍的逻辑斯谛回归模型是二项分类模型，用于二类分类。可以将其推广为多项逻辑斯谛回归模型，用于多类分类。假设离散型随机变量 $Y$ 的取值集合是 { 1 , 2 , ⋅ ⋅ ⋅ , K } \{1,2,···,K\} {1,2,⋅⋅⋅,K}, 那么多项逻辑斯谛回归模型是
P ( Y = k ∣ x ) = e x p { w k ⋅ x } 1 + ∑ k = 1 K − 1 e x p { w k ⋅ x } P(Y=k|x)= \frac{exp\{w_k \cdot x\}}{1+ \sum_{k=1}^{K-1}exp\{w_k \cdot x \}} P(Y=k∣x)=1+∑k=1K−1​exp{wk​⋅x}exp{wk​⋅x}​
P ( Y = K ∣ x ) = 1 1 + ∑ k = 1 K − 1 e x p { w k ⋅ x } P(Y=K|x)= \frac{1}{1+ \sum_{k=1}^{K-1}exp\{w_k \cdot x \}} P(Y=K∣x)=1+∑k=1K−1​exp{wk​⋅x}1​