Logistic Regression

目录

Logistic Regression
Cost Function
梯度下降推导
Note

---

前言

写这个系列的主要原因，是想系统性地对之前学过的知识进行整理，顺便为秋招做好准备。
本文不再对一些简单的概念进行大量阐述，重点放在算法本身，如公式的推导及统计学的理解。

---

Logistic Regression 的定义

logistic regression 的本质是线性回归，只是在特征到结果的映射中加了一层sigmoid function。一般用于解决二分类问题，对于给定的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\lbrace(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\rbrace T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中 x ∈ R n , y ∈ { 0 , 1 } x\in R^n,y\in\lbrace0,1\rbrace x∈Rn,y∈{0,1}，有：
$$\hat{y}=g(w^{T}x+b),whereg(z)=\frac{1}{1+e^{-z}}$$

有时为了方便，会将偏置$b$放入权重$w$中，即$w^T=(w^{(1)},w^{(2)},...,w^{(n)},b),x=(x^{(1)},x^{(2)},...,x^{(n)},1{)}^T$. 这时，模型定义为：
$$\begin{array}{rl}& P(Y=1|x)=\frac{1}{1+e^{-w^{T}x}}=\sigma (x)\\ & P(Y=0|x)=1-\sigma (x)\end{array}$$

为了简化公式，我用$\sigma (x)$代替了$g(w^{T}x)$，这里的$g(z)$就是常提到的sigmoid function。
sigmoid function的求导是一个很漂亮的结果，我们后面在梯度下降推导的时候也会用到。
$$\begin{array}{rl}{g}^{\prime }(z)& =-\frac{1}{(1+e^{-z}{)}^2}(1+e^{-z}{)}^{\prime }\\ & =\frac{e^{-z}}{(1+e^{-z}{)}^2}\\ & =\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})\\ & =g(z)(1-g(z))\end{array}$$

---

Cost Function

根据上述模型的定义，我们可以得出似然函数为：
$$\prod _{i=1}^N[\sigma (x_i){]}^{y_i}[1-\sigma (x_i){]}^{1-y_i}$$

$CostFunction$定义为：
$$\begin{array}{rl}J(w)& =-\frac{1}{n}\log (\prod _{i=1}^N[\sigma (x_i){]}^{y_i}[1-\sigma (x_i){]}^{1-y_i})\\ & =-\frac{1}{n}\sum _{i=1}^N[y_i\log \sigma (x_i)+(1-y_i)\log (1-\sigma (x_i))]\\ & =-\frac{1}{n}\sum _{i=1}^N[y_i\log \frac{\sigma (x_i)}{1-\sigma (x_i)}+\log (1-\sigma (x_i))]\\ & =-\frac{1}{n}\sum _{i=1}^N[y_i{w}^T{x}_i+\log (1-\sigma (x_i))]\end{array}$$

注意有些教材（例如《统计学习方法》）会把最后一行写成：
$$\sum _{i=1}^N[y_{i}w{x}_i-\log (1+\exp (wx))]$$

这种写法公式会更为简洁，而且求导的结果最后相一致，但其将0作为正例，而且sigmoid function的表述不太一致，即：
$$P(Y=0|x)=\frac{1}{1+e^{wx}}=\sigma (x)$$

个人觉得这种写法和我们常规的定义不太一样，实际上，Cost Function只要写出第二行就可以求导，进行梯度下降了。

---

梯度下降推导

通过对$w$求导，得到其梯度：
$$\begin{array}{rl}\frac{\partial J(w)}{\partial w}& =-\frac{1}{n}\sum _{i=1}^N[y_i{x}_i+\frac{1}{1-\sigma (x_i)}(1-\sigma (x_i){)}^{\prime }]\\ & =-\frac{1}{n}\sum _{i=1}^N[y_i{x}_i-\frac{1}{1-\sigma (x_i)}\sigma (x_i)(1-\sigma (x_i))x_i]\\ & =-\frac{1}{n}\sum _{i=1}^N[y_i{x}_i-\sigma (x_i)x_i]\\ & =\frac{1}{n}\sum _{i=1}^N[x_i(\sigma (x_i)-y_i)]\end{array}$$

别忘了前面我们把偏置$b$也放进了权重$w$里，拉出来看就是：
$$\frac{\partial J(w)}{\partial b}=\frac{1}{n}\sum _{i=1}^N[\sigma (x_i)-y_i]$$

然后我们就可以设定learning rate $a$，对$b$，$w$进行权值更新：
$$\begin{array}{rl}& w:=w-a\frac{\partial J(w)}{\partial w}\\ & b:=b-a\frac{\partial J(w)}{\partial b}\end{array}$$

---

Note

1. 为什么以似然函数的负对数作为cost function?

• 似然函数为连乘，取对数可以化乘除为加减，简化运算；
• 计算出来的概率值为小数，小数与小数相乘容易下溢；
• 取负数是为了满足优化的数学习惯，求损失函数最小值的过程，实际上是对参数极大似然估计的过程。

2.logitic regression的优缺点?

优点：实现简单，计算量少，存储资源低；
缺点：一般情况下，只能处理二分类问题（softmax可以用于多分类），且需要线性可分。

3.logitic regression与SVM的异同？

相同：

• LR和SVM都是线性模型（不考虑核函数），一般情况下都用于线性二分类问题；
• 两者都可以增加不同的正则化项，如L1、L2；
• 两者都可以用来做非线性分类，只需要加核函数就好（LR也可以加核函数）；
• 两者都属于判别模型。

区别：

• 损失函数不同，SVM采用的是hinge loss，这两个损失函数都是增加对分类影响较大的样本点的权重，减少与分类关系较小的数据点的权重；
• SVM不依赖数据分布，只与支持向量有关，而LR依赖，与所有样本点都有关；
• SVM是结构风险最小化模型，而LR是经验风险最小化模型。

4.logitic regression和SVM分别在什么场景下用?

这个问题Andrew Ng曾经解答过：n表示feature的数量，m表示样本的数量，

• 如果n相对于m来说很大，则使用LR或者不带核函数的SVM（线性分类）；
• 如果n很小，m的数量适中，使用带核函数的SVM；
• 如果n很小，m很大，增加更多的feature，然后用LR或者不带核函数的SVM。

5. 为什么要以sigmoid function来作为hypothesis?

基于最大熵原理（maximum entropy）。
在李航老师的《统计学习方法》中写到，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型的最好的模型。 最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。
其次，伯努利分布（Bernoulli distribution）的指数族（exponential family）形式恰好为sigmoid，而指数族满足最大熵的性质。
假设随机变量$x$服从参数为$\theta$的伯努利分布，其概率密度函数为：
f ( x ∣ θ ) = θ x ( 1 − θ ) 1 − x ,   x ∈ { 0 , 1 } f(x|\theta)=\theta^x(1-\theta)^{1-x},\ x\in\lbrace0,1\rbrace f(x∣θ)=θx(1−θ)1−x, x∈{0,1}

指数分布族的概率密度函数为：
$$f(x|\theta )=h(x)\exp (\eta (\theta )T(x)-A(\theta ))$$

对伯努利分布进行变形，可以得到：
$$f(x|\theta )=\exp (x\log \frac{\theta }{1-\theta }+\log (1-\theta ))$$

对比指数分布族，可以得到：
$$\begin{array}{rl}& h(x)=1\\ & \eta (\theta )=\log \frac{\theta }{1-\theta }\\ & T(x)=x\\ & A(\theta )=-\log (1-\theta )\end{array}$$

将$\eta (\theta )$变形为：
$$-\eta (\theta )=-\log \frac{\theta }{1-\theta }$$

$$-\eta (\theta )=\log \frac{1-\theta }{\theta }$$

$$\exp (-\eta (\theta ))=\frac{1-\theta }{\theta }$$

$$\theta =\frac{1}{1+e^{-\eta }}$$

得到sigmoid function的形式。

---

参考资料

李航《统计学习方法》
LR和SVM的联系区别 https://zhuanlan.zhihu.com/p/30419036
sigmoid 背后的数学原理 https://www.zhihu.com/question/35322351/answer/67193153

---

2019.6.25 修改Cost function最后一行的表述
2019.7.9 补充LR的优缺点、LR与SVM的异同及使用场景
2019.8.13 修改梯度下降正负号的表述

---