第六章（一）逻辑回归

6.1逻辑斯谛回归模型

6.1.1逻辑斯谛分布
  定义6.1逻辑斯谛分布：设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数：$F(x) = P(X \le x) = \frac{1}{{1 + {e^{ - (x - \mu )/\gamma }}}}$
$f(x) = \frac{{{e^{ - (x - \mu )/\gamma }}}}{{\gamma {{(1 + {e^{ - (x - \mu )/\gamma }})}^2}}}$
式中，$\mu$为位置参数，$\gamma > 0$为形状参数。
  分布函数属于逻辑斯谛函数，其图形是一条S形曲线。该曲线以点（$\mu$，0.5）为中心对称，即满足$F( - x + \mu ) - \frac{1}{2} = - F(x + \mu ) + \frac{1}{2}$。曲线在中心附近增长速度较快，在两端增长速度较慢。形状参数$\mu$的值越小，曲线在中心附近增长得越快。

6.1.2二项逻辑斯谛回归模型
  二项逻辑斯谛回归模型是一种分类模型，由条件概率分布P(Y|X)表示，形式为参数化的逻辑斯谛分布。这里，随机变量X取值为实数，随机变量Y取值为1或0。通过监督学习的方法来估计模型参数。
  定义6.2（逻辑斯谛回归模型）二项逻辑斯谛回归模型是如下的条件概率分布：
$P(Y = 1|x) = \frac{{{e^{wx + b}}}}{{1 + {e^{wx + b}}}}$
$P(Y = 0|x) = \frac{1}{{1 + {e^{wx + b}}}}$

6.1.3模型参数估计
  逻辑斯谛回归模型学习时，对于给定的训练数据集，可以应用极大似然估计法估计模型参数，从而得到逻辑斯谛回归模型。
设：$P(Y = 1|x) = \pi (x),P(Y = 0|x) = 1 - \pi (x)$
则似然函数为$\mathop \prod \limits_{i = 1}^N {[\pi ({x_i})]^{{y_i}}}{[1 - \pi ({x_i})]^{1 - {y_i}}}$
对数似然函数为
$\begin{array}{l} L(w) = \sum\limits_{i = 1}^N {[{y_i}\log \pi ({x_i}) + (1 - {y_i})\log (1 - \pi ({x_i}))]} \ = \sum\limits_{i = 1}^N {[{y_i}\log \frac{{\pi ({x_i})}}{{1 - \pi ({x_i})}} + \log (1 - \pi ({x_i}))]} \ = \sum\limits_{i = 1}^N {[{y_i}(w{x_i}) - \log (1 + {e^{w{x_i} + b}})]} \end{array}$

对L(w)求极大值，得到w的估计值。这样，问题就变成以对数似然函数为目标函数得最优化问题。逻辑斯谛回归学习中通常采用的方法是梯度下降法和拟牛顿法
。
假设w的极大似然估计值为$\mathop w\limits^ \wedge$,那么学到的逻辑斯谛回归模型为
$P(Y = 1|x) = \frac{{{e^{\mathop w\limits^ \wedge x + b}}}}{{1 + {e^{\mathop w\limits^ \wedge x + b}}}}$
$P(Y = {\rm{0}}|x) = \frac{{\rm{1}}}{{1 + {e^{\mathop w\limits^ \wedge x + b}}}}$

6.1.4多项逻辑斯谛回归
  上面介绍的逻辑斯谛回归模型是二项分类模型，用于二类分类。可以将其推广为多项逻辑斯谛回归模型，用于多类分类。