逻辑回归知识点整理

逻辑回归笔记整理

逻辑回归（Logistic Regression）

首先需要明确两个概念：

1. 逻辑回归并非回归算法，而是分类算法。“回归”一词来源于最佳拟合（拟合：调整分类边界），可简单理解为用一条直线对一些数据点进行拟合（该线称为最佳拟合直线），而拟合过程称为回归。
2. logistic分类的思想：根据现有数据对分类边界建立回归公式。

分类问题

对于二分类问题：
y ϵ { 0 , 1 } y\epsilon\{0,1\} yϵ{0,1} 其中，0表示负例，1表示正例。

对于多分类问题：
y ϵ { 0 , 1 , 2 , 3 , . . . , n } y\epsilon\{0,1,2,3,...,n\} yϵ{0,1,2,3,...,n}
若分类器使用的是回归模型，并且模型已经训练好，可设置一个阈值：
若 $h_{\theta }(x)\ge 0.5$，y属于正例；若 $h_{\theta }(x)<0.5$，y属于负例。

对于二分类问题，线性回归模型Hypothesis输出值$h_{\theta }(x)$可以大于1也可以小于0。而对于逻辑回归，Hypothesis输出值介于0到1之间：
$$0\le h_{\theta }(x)\le 1$$

代价函数

将Hypothesis输出值界定在0到1之间，需引入函数g，令Hypothesis表示为：
$$h_{\theta }(x)=g({\theta }^{T}x)$$

g称为Sigmoid Function或Logisitic Function：
$$g(z)=\frac{1}{1+e^{-z}}$$
其函数图形为：

其中，$\theta$为参数。综合以上两个式子，可得到LR模型的数学表达式：
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

决策边界

假设给定阈值0.5，当$h_{\theta }(x)\ge 0.5$时，$y=1$；当$h_{\theta }(x)<0.5$时，$y=0$。对于$h_{\theta }(x)=g({\theta }^{T}x)\ge 0.5$，则${\theta }^{T}x\ge 0$，意味着预估$y=1$；反之，当预测$y=0$时，${\theta }^{T}x<0$。
故可认为${\theta }^{T}x=0$是一个决策边界，当其大于或小于0时，LR分别预测不同的分类结果。如：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2)$$
${\theta }_0,{\theta }_1,{\theta }_2$,分别取-3，1，1，当$-3+x_1+x_2\ge 0$时，$y=1$，则$x_1+x_2=3$是一个决策边界：

这是一个线性的决策边界，当$h_{\theta }(x)$更复杂时，可得到非线性的决策边界：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2)$$
${\theta }_0,{\theta }_1,{\theta }_2,{\theta }_3,{\theta }_4$分别取值-1，0，0，1，1，当$x_1^2+x_2^2\ge 1$时，$y=1$，此时决策边界是一个圆：

代价函数（Cost Function）

LR的代价函数为对数似然损失函数：
$$f(x)=\{\begin{array}{ll}-log(h_{\theta }(x))& \text{if y=1}\\ -log(1-h_{\theta }(x))& \text{if y=0}\end{array}$$
加入惩罚项：
$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$
最终的代价函数公式为：
$$J(\theta )=\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))\right]$$
取似然函数为：
$$L(\theta )=\prod _{i=1}^{m}P(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-log{h}_{\theta }(x^{(i)}){)}^{1-y(i)}$$
对数似然函数为：
$$l(\theta )=logL(\theta )=\sum _{i=1}^m\left(y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))\right)$$
最大似然估计就是求使$l(\theta )$取最大值时的$\theta$。

多类分类问题

处理方法：保留其中一类，剩下的作为另一类。

分别计算其中一类相对于其他类的概率：

对于每一个类i训练一个LR分类器，并预测 y=i 的概率。对于每一个新的输入变量x，分布对每一个类别进行预测，取最大概率的那个类作为分类结果。

参考链接：
[1]: http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference