机器学习——逻辑回归

一、逻辑回归

1、逻辑斯谛回归模型

我们可以用线性模型$z={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$ 来做回归任务，如果我们用此线性模型来做分类任务，需要用一个单调可微函数$g(\cdot )$将分类任务的真实标签$y$与线性回归模型的预测值联系起来：
$$y=g^{-1}\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right)\text{\hspace{1em}(1)}$$
这里我们使用对数几率函数（logistic function）：
$$y=\frac{1}{1+e^{-z}}\text{\hspace{1em}(2)}$$
它将$z$值转化为一个接近0或1的值，结合（1）和（2）可以得到：
$$y=\frac{1}{1+e^{-\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right)}}\text{\hspace{1em}(3)}$$

$$\ln \frac{y}{1-y}={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$

将$y$视为样本$\mathbf{x}$是正例的可能性，则$1-y$是其反例的可能性，其比值$\frac{y}{1-y}$称为几率（odds），反映了$\mathbf{x}$作为正例的相对可能性，取对数得到$\mathrm{l}\mathrm{n}\frac{y}{1-y}$，称为对数几率。这实际上使用线性回归模型的预测结果取逼近真实标签的对数几率。

上面提到$y$视为样本$\mathbf{x}$是正例的可能性，即$y=p(y=1|\mathbf{x})$，显然有：
$$\begin{array}{rl}p(y& =1|\mathbf{x})=\frac{e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}{1+e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}\\ p(y& =0|\mathbf{x})=\frac{1}{1+e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}\end{array}$$

2、极大似然估计

我们的任务就是估计参数$\mathbf{w}$和$b$，可以使用极大似然估计。给定数据集 { ( x i , y i ) } i = 1 m \left\{\left(\boldsymbol{x}_{i}, y_{i}\right)\right\}_{i=1}^{m} {(xi​,yi​)}i=1m​，并设 θ = { w , b } \boldsymbol{\theta}=\left\{\boldsymbol{w}, b\right\} θ={w,b}，$h_{\theta }(\mathbf{x})=\frac{e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}{1+e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}$，那么：
$$\begin{array}{l}p(y=1|\mathbf{x};\mathbf{\theta })=h_{\theta }(\mathbf{x})\\ p(y=0|\mathbf{x};\mathbf{\theta })=1-h_{\theta }(\mathbf{x})\end{array}$$
上式可以合写为：
$$p(y|\mathbf{x};\mathbf{\theta })={\left(h_{\theta }(\mathbf{x})\right)}^y{\left(1-h_{\theta }(\mathbf{x})\right)}^{1-y}\text{\hspace{1em}(4)}$$
则可以写出似然函数：
$$\begin{array}{rl}L(\mathbf{\theta })& =p(Y|\mathbf{X};\mathbf{\theta })\\ & =\prod _{i=1}^{m}p\left(y_i|{\mathbf{x}}_i;\mathbf{\theta }\right)\\ & =\prod _{i=1}^m{\left(h_{\theta }\left({\mathbf{x}}_i\right)\right)}^{y_i}{\left(1-h_{\theta }\left({\mathbf{x}}_i\right)\right)}^{1-y_i}\end{array}$$
取对数得到对数似然函数：
$$\begin{array}{rl}\ell (\mathbf{\theta })& =\log L(\mathbf{\theta })\\ & =\sum _{i=1}^m{y}_i\log h_{\theta }\left({\mathbf{x}}_i\right)+\left(1-y_i\right)\log \left(1-h_{\theta }\left({\mathbf{x}}_i\right)\right)\end{array}$$
每个样本属于真实标签的概率越大越好，因此要最大化对数似然函数：
$${\mathbf{\theta }}^{\ast }=\underset{\theta }{\mathrm{argmax}}\ell (\mathbf{\theta })$$
$\ell (\mathbf{\theta })$是关于$\mathbf{\theta }$的高阶连续可导凸函数，可以使用梯度下降法、牛顿法等得到其最优解。以梯度下降法为例，我们需要最小化$-\ell (\mathbf{\theta })$：
$${\mathbf{\theta }}^{\ast }=\underset{\theta }{\mathrm{argmin}}-\ell (\mathbf{\theta })$$
对其求导得：
$$\begin{array}{rl}\frac{\partial }{\partial \mathbf{\theta }}\ell (\mathbf{\theta })& =\left(-y\frac{1}{h_{\theta }\left(\mathbf{x}\right)}+(1-y)\frac{1}{1-h_{\theta }\left(\mathbf{x}\right)}\right)\frac{\partial }{\partial \mathbf{\theta }}{h}_{\theta }\left(\mathbf{x}\right)\\ & =\left(-y\frac{1}{h_{\theta }\left(\mathbf{x}\right)}+(1-y)\frac{1}{1-h_{\theta }\left(\mathbf{x}\right)}\right)h_{\theta }\left(\mathbf{x}\right)\left(1-h_{\theta }(\mathbf{x})\right)\frac{\partial }{\partial \mathbf{\theta }}{\mathbf{\theta }}^{\mathrm{T}}\mathbf{x}\\ & =\left(-y\left(1-h_{\theta }\left(\mathbf{x}\right)\right)+(1-y)h_{\theta }\left(\mathbf{x}\right)\right)\mathbf{x}\\ & =\left(h_{\theta }(\mathbf{x})-y\right)\mathbf{x}\end{array}$$
再更新梯度：
$$\mathbf{\theta }:=\mathbf{\theta }-\alpha \left(h_{\theta }\left(\mathbf{x}\right)-y\right)\mathbf{x}$$

参考资料

• 周志华《机器学习》
• 李航《统计学习方法》
• 吴恩达《机器学习》公开课