逻辑回归(Logistic Regression)

机器学习之逻辑回归(Logistic Regression)

逻辑回归(二分类)

$sigmoidfunction:\sigma (z)=\frac{1}{1+e^{-z}}$

• $z\to +\infty ，lim\sigma (z)=1$
• $z\to 0，\sigma (z)=\frac{1}{2}$
• $z\to -\infty ，lim\sigma (z)=0$

推导

D a t a : { ( x i , y i ) i = 1 N } Data:\lbrace (x_i, y_i)_{i=1}^N \rbrace Data:{(xi​,yi​)i=1N​}

假设数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x i , y i ) , ⋯   , ( x N , y N ) } D=\lbrace (x_1, y_1),(x_2,y_2),\cdots,(x_i,y_i),\cdots,(x_N, y_N)\rbrace D={(x1​,y1​),(x2​,y2​),⋯,(xi​,yi​),⋯,(xN​,yN​)}，其中$x_iϵ{\mathbb{R}}^p$

$p_1=P(y=1|x)=\sigma(w^{Tx)=\frac{1}{1+exp(-w}Tx)}=\frac{exp(w^Tx)}{1+exp(wTx)}\ \Longrightarrow \ \psi(x;w) $

$p2=P(y=0|x)=1-P(y=1|x)=\frac{exp(-w^{T}x)}{1+exp(-w^{T}x)}=\frac{1}{1+exp(w^{T}x)}⟹1-\psi (x;w)$

$P(y|x)=p_1^y{p}_0^{1-y}$

利用$MLE$进行参数$w$估计:
$$\begin{array}{rl}\hat{w}& ={\mathrm{argmax}}_{w}logP(Y|X)\\ & ={\mathrm{argmax}}_{w}log\prod _i^{N}P(y_i|x_i)\\ & ={\mathrm{argmax}}_w\sum _i^{N}logP(y_i|x_i)\\ & ={\mathrm{argmax}}_w\sum _i^N(y_{i}log{p}_1+(1-y_i)log{p}_0)\\ & ={\mathrm{argmax}}_w\sum _i^N(y_{i}log\psi (x_i;w)+(1-y_i)log(1-\psi (x_i;w)))\end{array}$$
对于上式的求法主要采用梯度下降法以及拟牛顿法

对于逻辑回归的损失函数（对数损失函数）：
$$\begin{array}{r}Loss(w)=-\sum _i^N(y_{i}log\psi (x_i;w)+(1-y_i)log(1-\psi (x_i;w)))\end{array}$$
而交叉熵损失函数为：
$$\begin{array}{r}J(\theta )=-\frac{1}{N}\sum _i^N(y_{i}log\psi (x_i;\theta )+(1-y_i)log(1-\psi (x_i;\theta )))\end{array}$$
可以看出深度学习中的很多思想都是从逻辑回归引申过去的

多项逻辑回归

上面介绍的逻辑回归是 二项分类模型，用于二分类。可以将其推广为 多项逻辑回归模型，用于多分类。假设离散型随机变量$Y$的取值集合是 { 1 , 2 , ⋯   , K } \lbrace 1,2,\cdots,K \rbrace {1,2,⋯,K}，那么多项逻辑回归模型是：
$$\begin{array}{rl}P(Y=k|x)& =\frac{exp(w_k^T\cdot x)}{1+\sum _{k=1}^{K-1}exp(w_k^T\cdot x)},k=1,2,\cdots ,K-1\\ P(Y=K|x)& =\frac{1}{1+\sum _{k=1}^{K-1}exp(w_k^T\cdot x)}\end{array}$$

其中，注意$Y=k$是一个取$1$到$K-1$类其中一类，$Y=K$是指第$K$类，$P(Y=K|x)$便是由$1-\sum _{i=1}^{K-1}P(Y=k|x)$得到

对于多分类函数（$softmax$函数）：$P(Y=k|x)=\frac{exp(w_k^{T}x)}{\sum _{k=1}^{K}exp(w_k^{T}x)}$

参考：

书籍：李航—统计学习方法

博客：https://zhuanlan.zhihu.com/p/56900935