机器学习系列之逻辑斯谛回归

最新推荐文章于 2023-12-04 14:53:23 发布

HOPEver

最新推荐文章于 2023-12-04 14:53:23 发布

阅读量1.2k

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/hopever/article/details/39801463

版权

机器学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

逻辑斯谛回归(Logistic Regression, LR)是一种经典的分类算法，一定要注意，虽然名为回归，但其实是分类算法。具体表示为两个条件概率分布

$P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)}$

$P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$

可以看到，当 $\omega x+b %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$ 趋向于正无穷时，P(Y=1|X)趋向于1，P(Y=0|X)趋向于0，当 $\omega x+b %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$ 趋向于负无穷是情况则相反，因此我们通过比较P(Y=1|X)和P(Y=0|X)的大小来判断X的类别正负。具体图像如下(摘自百度百科)

极大似然估计

我们通过极大似然估计来估计参数w和b。假设 $\pi (x)=P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)} %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$ ，则似然函数为

$\prod_{i=1}^{N}\pi(x_{i})^{y_{i}}(1-\pi(x_{i}))^{(1-y_{i})} %\pi (x)=P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)} %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$

对其取对数得到对数似然函数

$L(\omega ,b) &=\sum_{i=1}^{N}y_i\log\pi(x_{i}) + (1-y_{i})\log(1-\pi(x_{i})) \\ &=\sum_{i=1}^{N}y_i\log\tfrac{\pi(x_{i})}{1-\pi(x_{i})}+\log(1-\pi(x_{i})) \\ &=\sum_{i=1}^{N}y_i(\omega x_{i}+b)-\log(1+exp(\omega x_{i}+b)) %\prod_{i=1}^{N}\pi(x_{i})^{y_{i}}(1-\pi(x_{i}))^{(1-y_{i})} %\pi (x)=P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)} %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$

对w和b分别求导得到

$\bigtriangledown L(\omega, b)_{\omega}=\sum_{i=1}^{N}[y_ix_{i}-\tfrac{x_{i}exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\bigtriangledown L(\omega, b)_{b}=\sum_{i=1}^{N}[y_i-\tfrac{exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\prod_{i=1}^{N}\pi(x_{i})^{y_{i}}(1-\pi(x_{i}))^{(1-y_{i})} %\pi (x)=P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)} %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$

$\bigtriangledown L(\omega, b)_{b}=\sum_{i=1}^{N}[y_i-\tfrac{exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\bigtriangledown L(\omega, b)_{\omega}=\sum_{i=1}^{N}y_ix_{i}-\tfrac{x_{i}exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)} %\prod_{i=1}^{N}\pi(x_{i})^{y_{i}}(1-\pi(x_{i}))^{(1-y_{i})} %\pi (x)=P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)} %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$

然后就可以通过梯度下降法或拟牛顿法不断迭代w和b来极大化似然函数。

对数线性模型

逻辑斯谛回归与后面将要讲到的最大熵模型都属于对数线性模型，那么为什么会这么说呢？即使我们对 $\pi(x) %\bigtriangledown L(\omega, b)_{\omega}=\sum_{i=1}^{N}[y_ix_{i}-\tfrac{x_{i}exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\bigtriangledown L(\omega, b)_{b}=\sum_{i=1}^{N}[y_i-\tfrac{exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\prod_{i=1}^{N}\pi(x_{i})^{y_{i}}(1-\pi(x_{i}))^{(1-y_{i})} %\pi (x)=P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)} %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$ 取对数得到的也不是线性模型呀？其实这里并不是对 $\pi(x) %\bigtriangledown L(\omega, b)_{\omega}=\sum_{i=1}^{N}[y_ix_{i}-\tfrac{x_{i}exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\bigtriangledown L(\omega, b)_{b}=\sum_{i=1}^{N}[y_i-\tfrac{exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\prod_{i=1}^{N}\pi(x_{i})^{y_{i}}(1-\pi(x_{i}))^{(1-y_{i})} %\pi (x)=P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)} %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$ 取对数，而是对x的几率取对数。

“一个事件的几率(odds)是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p，那么该事件的几率是 $\tfrac{p}{1-p} %\bigtriangledown L(\omega, b)_{\omega}=\sum_{i=1}^{N}[y_ix_{i}-\tfrac{x_{i}exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\bigtriangledown L(\omega, b)_{b}=\sum_{i=1}^{N}[y_i-\tfrac{exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\prod_{i=1}^{N}\pi(x_{i})^{y_{i}}(1-\pi(x_{i}))^{(1-y_{i})} %\pi (x)=P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)} %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$ 。” ---- 统计学习方法

因此对于逻辑斯谛回归来说，其几率的对数，又称为对数几率( log odds )为

$\log \tfrac{P(Y=1|X)}{1-P(Y=1|X)}=\log\tfrac{\pi(x)}{1-\pi(x)}= \omega x+b %\bigtriangledown L(\omega, b)_{\omega}=\sum_{i=1}^{N}[y_ix_{i}-\tfrac{x_{i}exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\bigtriangledown L(\omega, b)_{b}=\sum_{i=1}^{N}[y_i-\tfrac{exp(\omega x_{i}+b)}{1+exp(\omega x_{i}+b)}] %\prod_{i=1}^{N}\pi(x_{i})^{y_{i}}(1-\pi(x_{i}))^{(1-y_{i})} %\pi (x)=P(Y=1|X)=\tfrac{exp(\omega x+b)}{1+exp(\omega x+b)} %P(Y=0|X)=\tfrac{1}{1+exp(\omega x+b)}$