第六章 逻辑回归

逻辑回归 (logistic regression)
1. 逻辑分布(logistic distribution)
定义 设$X$是连续随机变量，$X$服从logistic分布是指，$X$具有下列分布函数和密度函数：
$$F(x)=P(X⩽x)=\frac{1}{1+{\mathrm{e}}^{-(x-\mu )/\gamma }}$$ $$f(x)=F^{\prime }(x)=\frac{{\mathrm{e}}^{-(x-\mu )/\gamma }}{\gamma {\left(1+{\mathrm{e}}^{-(x-\mu )/\gamma }\right)}^2}$$

式中，$\mu$为位置参数，$\gamma >0$为形状参数。分布函数$F(x)$其图形是一条$S$形曲线，以点$\left(\mu ,\frac{1}{2}\right)$为中心对称，即满足$$F(-x+\mu )-\frac{1}{2}=-F(x+\mu )+\frac{1}{2}$$

2. 二项logistic回归模型
定义： 二项logistic回归模型是如下条件概率分布：
$$\begin{array}{l}P(Y=1|x)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)}\\ P(Y=0|x)=\frac{1}{1+\exp (w\cdot x+b)}\end{array}$$$x\in {\mathbf{R}}^n$是输入， Y ∈ { 0 , 1 } Y \in\{0,1\} Y∈{0,1}是输出，$w\in {\mathbf{R}}^n$和$b\in \mathbf{R}$是参数，$w$称为权值向量，$b$称为偏置，$w\cdot x$为$w$和$x$的内积。
记$w={\left(w^{(1)}{w}^{(2)},\cdots ,w^{(n)},b\right)}^{\mathrm{T}},x={\left(x^{(1)},x^{(2)},\cdots ,x^{(n)},1\right)}^{\mathrm{T}}$，此时$$\begin{array}{rl}P(Y=1|x)& =\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}\\ P(Y=0|x)& =\frac{1}{1+\exp (w\cdot x)}\end{array}$$如果事件发生的概率是$p$，那么该事件的几率是$\frac{p}{1-p}$，对数几率是$\mathrm{logit}(p)=\log \frac{p}{1-p}$
于是有上式logistic回归$$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$这表明，在logistic回归模型中，输出$Y=1$的对数几率是输入$x$的线性函数，即输出$Y=1$的对数几率是由输入$x$的线性函数表示的模型，即logistic回归模型。通过逻辑斯谛回归模型的定义可将线性函数$w\cdot x$转换为概率：$$P(Y=1|x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}$$

3. 模型参数估计
给定训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ ( x N , y N ) } , x i ∈ R n , y i ∈ { 0 , 1 } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots\left(x_{N}, y_{N}\right)\right\}, x_{i} \in \mathbf{R}^{n}, y_{i} \in\{0,1\} T={(x1​,y1​),(x2​,y2​),⋯(xN​,yN​)},xi​∈Rn,yi​∈{0,1}，可以应用极大似然估计法估计模型参数，从而得到logistic回归模型
设$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$
似然函数为 ${\prod }_{i=1}^N{\left[\pi \left(x_i\right)\right]}^{y_i}{\left[1-\pi \left(x_i\right)\right]}^{1-y_i}$
对数似然函数为$$\begin{array}{rl}L(w)& =\sum _{i=1}^N\left[y_i\log \pi \left(x_i\right)+\left(1-y_i\right)\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N\left[y_i\log \frac{\pi \left(x_i\right)}{1-\pi \left(x_i\right)}+\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N[y_i\left(w\cdot x_i\right)-\log \left(1+\exp \left(w\cdot x_i\right)\right]\end{array}$$ 对$L(w)$求极大值，得到$w$的估计值。问题就变成了以对数似然函数为目标的最优化问题，这里通常采用的方法是梯度下降法及拟牛顿法。
假设$w$的极大似然估计值是$\hat{\mathbf{w}}$，那么学习得到的logistic回归模型为$$\begin{array}{rl}p(Y=1|x)& =\frac{\exp (\hat{w}\cdot x)}{1+\exp (\hat{w}\cdot x)}\\ P(Y=0|x)& =\frac{1}{1+\exp (\hat{w}\cdot x)}\end{array}$$4. 多项逻辑斯谛回归(multi-nominal logistic regression model)
假设随机变量$Y$的取值集合是 { 1 , 2 , ⋯   , K } \{1,2, \cdots, K\} {1,2,⋯,K}，那么多项逻辑斯谛回归模型是$$P(Y=k|x)=\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)},k=1,2,\cdots ,K-1$$ $$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)}$$这里，$x\in {\mathbf{R}}^{n+1},w_k\in {\mathbf{R}}^{n+1}$