Logistic回归解析

最新推荐文章于 2023-12-04 14:00:39 发布

liuwei1206

最新推荐文章于 2023-12-04 14:00:39 发布

阅读量969

点赞数 1

分类专栏：基础数学文章标签： Logistic回归

基础数学专栏收录该内容

4 篇文章 0 订阅

订阅专栏

1.概述

Logistic回归为概率型非线性模型回归模型，是研究二分类观察结果y与一些样本特征 $(x_1,x_2,…,x_n)$ 之间的关系的这一种多分量分析方法，简单讲就是研究某些特征条件出现时，结果是否会发生。例如根据病人的年龄、性别、饮食习惯、幽门螺杆菌感染等因素来判断某人是否得了胃癌。

2.LR分类器

在讲解Logistic回归之前，我们先从LR分类器讲起，引出Logistic回归。LR分类器，即Logistic Regression Classifier，在分类情形下，经过学习后的LR分类器是一组权重组 $[w_0,w_1,…,w_n]$ 当测试样本数据输入时，这组权重与测试数据按照线性相乘，得到：
$X=w_0+w_1*x_1+…+w_n*x_n$
这里 $x_1,x_2,…,x_n$ 是样本的n个特征值。例如上述例子中的年龄、性别、饮食等。之后通过sigmoid函数对x进行映射，sigmoid函数为：
$S(x)=\cfrac{1}{1+e^{-x}}$
可以看出sigmoid函数定义域为 $（-\infty，+\infty）$ ，值域为 $（0,1）$ ，然后可以通过定义阀值来进行分类，例如阀值为0.5，小于0.5为未得胃癌，大于0.5为得胃癌。

3.Logistic回归模型

Logistic回归的实质是某种类别发生概率除以没有发生概率再取对数。考虑具有n个独立特征的向量 $\overrightarrow x=(x1,x2,…,xn)$ ，设条件概率 $P(y=1|x)=p$ 为特征组 $\overrightarrow x$ 下类别 $y$ 发生的概率，那么Logistic回归模型可以表示为：
$P(y=1|x)=f(g(x))=\cfrac{1}{1+e^{-g(x)}}$
这里 $f(g(x))$ 称为Logistic函数，其中 $g(x)=w_0+\overrightarrow w\overrightarrow x=w0+w_1x_1+w_2x_2+...+w_nx_n$ 其中 $\overrightarrow w=(w_1,w_2,...,w_n)$ 。
那么特征组 $\overrightarrow x$ 下类别 $y$ 不发生的概率为：
$P(y=0|x)=1-P(y=1|x)=1-\cfrac{1}{1+e^{-g(x)}}=\cfrac{e^{-g(x)}}{1+e^{-g(x)}}=\cfrac{1}{1+e^{g(x)}}$
所以发生与不发生的概率比为：
$\cfrac{P(y=1|x)}{P(y=0|x)}=\cfrac{p}{1-p}=\cfrac{1+e^{g(x)}}{1+e^{-g(x)}}=\cfrac{e^{g(x)}*e^{-g(x)}+e^{g(x)}}{1+e^{-g(x)}}=e^{g(x)}$

所以事件发生比就是 $e^{g(x)}$ ，对其取对数
$ln(\cfrac{p}{1-p})=g(x)=w_0+\overrightarrow w\overrightarrow x=w0+w_1x_1+w_2x_2+...+w_nx_n$
可知Logistic回归就是围绕Logistic函数展开的。

4.求解参数

用最大似然估计法来求解参数，未知参数就是 $w_0,w_1,...,w_n$ ， $(\overrightarrow x_1,y1),(\overrightarrow x_2,y2),...,(\overrightarrow x_m,y1_m)$ 为样本观测值，是已知数据。
假设有m个样本 $(\overrightarrow x_1,y1),(\overrightarrow x_2,y2),...,(\overrightarrow x_m,y1_m)$ ,其中 $\overrightarrow x_i$ 表示特征组， $y_i$ 表示结果。设 $p_i=P(y_i=1|x_i)$ ,即第i个特征组分类结果为1的概率，则 $P(y_i=0|x_i)=1-p_i$ 表示分类结果为0的概率，注意本例子为二分类，即结果是0或1.则第i个特征组归属结果 $y_i$ 的概率为:
$p(y_i)=p_i^{y_i}*(1-p_i)^{1-y_i}（可以通过y_i=0和y_i=1两种情况来验证）$
因为各个观测样本之间相互独立，那么它们的联合分布为各边缘分布的乘积。得到似然函数为:

L (w) = \prod i = 1 m p y i i * (1 - p i) 1 - y i 其 中 p i = 1 1 + e - g ( x ), 且 g (x) = w 0 + w \to x \to

$L(w)=\prod_{i=1}^mp_i^{y_i}*(1-p_i)^{1-y_i}\quad其中p_i=\cfrac{1}{1+e^{-g(x)}},且g(x)=w_0+\overrightarrow w\overrightarrow x$
注意，上面的

L(w) $L(w)$ 中的

w $w$ 代表的是

w0,w1,...,wn $w_0,w_1,...,w_n$ ，而

g(x)中的w→ $g(x)中的\overrightarrow w$ 代表的是

w1,w2,...,wn $w_1,w_2,...,w_n$ .
然后我们就需要对该似然函数求最大值，解出最大值情况下对应的

w0,w1,...,wn $w_0,w_1,...,w_n$ ，这一组

w $w$ 就是要求的未知数的解。先对

L(w) $L(w)$ 取对数，得到:

l n (L (w)) = \sum i = 1 m (y i l n p i + (1 - y i) l n (1 - p i))

$ln(L(w))=\sum_{i=1}^m (y_ilnp_i+(1-y_i)ln(1-p_i))$
为了解除n+1个未知数

w0,w1,...,wn $w_0,w_1,...,w_n$ ，需要求这些未知数分别求偏导数，然后得到n+1个方程组，最后再解出未知数。这里以求第k个未知数

wk $w_k$ 的偏导数为例。

ln(L(w)) $ln(L(w))$ 中

(yilnpi+(1−yi)ln(1−pi)) $(y_ilnp_i+(1-y_i)ln(1-p_i))$ 对

wk $w_k$ 的求导为：

(yilnpi+(1−yi)ln(1−pi))′=yipi′pi+(1−yi)−pi′1−pi=(yi−pi)pi′pi(1−pp)= $(y_ilnp_i+(1-y_i)ln(1-p_i)) \prime =y_i\cfrac{p_i\prime}{p_i}+(1-y_i)\cfrac{-p_i\prime}{1-p_i}=(y_i-p_i)\cfrac{p_i\prime}{p_i(1-p_p)}=$

(yi−pi)(lnpi−ln(1−pi))′=(yi−pi)(lnpi1−pi)′ $(y_i-p_i)(lnp_i-ln(1-p_i))\prime=(y_i-p_i)(ln\cfrac{p_i}{1-p_i})\prime$
又从3节可知，

ln(p1−p)=g(x) $ln(\cfrac{p}{1-p})=g(x)$ ,则最终结果为:

(yi−pi)g(x)′=(yi−pi(w0+w1xi1+w2xi2+...+wnxin)′=(yi−pi)xik $(y_i-p_i)g(x)\prime=(y_i-p_i(w_0+w_1x_{i1}+w_2x_{i2}+...+w_nx_{in})\prime=(y_i-p_i)x_{ik}$
这仅仅是一组

x→i $\overrightarrow x_i$ 对

wk $w_k$ 的偏导数值，总共有m组，则