李宏毅机器学习——逻辑回归

逻辑回归

第一步先选择函数集

步骤一：函数集

接上一篇，我们知道，给定一个x,它属于类别$C_1$的概率为$P_{w,b}(C_1|x)$,
如果$P_{w,b}(C_1|x)\ge 0.5$则属于$C_1$；否则属于$C_2$

最后我们得到
$P_{w,b}(C_1|x)=\sigma (z),\sigma (z)=\frac{1}{1+exp(-z)}$

$$z=w\cdot x+b=\sum _i{w}_i{x}_i+b$$
所以我们的函数集是$f_{w,b}(x)=P_{w,b}(C_1|x)$，包含所有不同的$w$和$b$。

图形化表示如下：

这个就是逻辑回归，我们与线性回归做一个比较。

因为Sigmoid函数的取值范围是0到1，因此逻辑回归的输出也是0到1；而线性回归的输出可以是任何值。

接下来判断函数的好坏

步骤2： 函数有多好

假设我们有N个训练数据，每个训练数据都标明了属于哪个类别($C_1$或$C_2$)

并且假设这些数据是从$f_{w,b}(x)=P_{w,b}(C_1|x)$所产生的。

那么给定一组$w$和$b$，那如何计算某一组$w$和$b$产生这些数据的概率：

$$L(w,b)=f_{w,b}(x^1)f_{w,b}(x^2)(1-f_{w,b}(x^3))\cdots f_{w,b}(x^N)$$

其中$x^3$是属于$C_2$，因此它的计算方法有点不同。

最好的$w$和$b$会产生产生最大的$L(w,b)$

$$w^{\ast },b^{\ast }=arg\underset{w,b}{\max }L(w,b)$$
做个数学上的转换，将上式右边取对数，并加上负号，变成计算最小的：

$$w^{\ast },b^{\ast }=arg\underset{w,b}{\min }-\ln L(w,b)$$

取对数的好处是使得相乘变成相加：

$$\begin{gathered} -\ln L(w,b)= \\ -\ln f_{w,b}(x^1) \\ -\ln f_{w,b}(x^2) \\ -\ln (1-f_{w,b}(x^3)) \\ \cdots \end{gathered}$$

但是这个式子不好写个SUM的形式,因此需要做符号转换

如果${\hat{y}}^n=1$则说明它属于类别$C_1$；若等于0，说明属于类别$C_2$，那么就有

$$\begin{gathered} -\ln f_{w,b}(x^1)⟹-[{\hat{y}}^1\ln f(x^1)+(1-{\hat{y}}^1)\ln (1-f(x^1))] \\ -\ln f_{w,b}(x^2)⟹-[{\hat{y}}^2\ln f(x^2)+(1-{\hat{y}}^2)\ln (1-f(x^2))] \\ -\ln (1-f_{w,b}(x^3))⟹-[{\hat{y}}^3\ln f(x^3)+(1-{\hat{y}}^3)\ln (1-f(x^3))] \\ \cdots \end{gathered}$$
这样，就能得到一个函数：

因为${\hat{y}}^n$取0或1，因此${\hat{y}}^n\ln f(x^n)+(1-{\hat{y}}^n)\ln (1-f(x^n))$中+号左右两边总有一个式子等于0。

$$\begin{array}{rl}L(w,b)& =f_{w,b}(x^1)f_{w,b}(x^2)(1-f_{w,b}(x^3))\cdots f_{w,b}(x^N)\\ -\ln L(w,b)& =-(\ln f_{w,b}(x^1)+\ln f_{w,b}(x^2)+ln(1-\ln f_{w,b}(x^3))\cdots \\ & =\sum _n-[{\hat{y}}^n\ln f_{w,b}(x^n)+(1-{\hat{y}}^n)\ln (1-f_{w,b}(x^n))]\end{array}$$

$-[{\hat{y}}^n\ln f_{w,b}(x^n)+(1-{\hat{y}}^n)\ln (1-f_{w,b}(x^n))]$其实就是两个伯努利分布的交叉熵,交叉熵主要用于衡量两个分布有多接近，如果一模一样的话，那么就是0。

所以在逻辑回归中，定义一个函数的好坏就通过两个类别分布的交叉熵之和：

我们需要最小化这个交叉熵，也就是希望函数的输出和目标函数的输出越接近越好。

步骤3：找到最好的函数

$$-\ln L(w,b)=\sum _n-[{\hat{y}}^n\ln f_{w,b}(x^n)+(1-{\hat{y}}^n)\ln (1-f_{w,b}(x^n))]$$
找到最好的函数需要找到一组$w$和$b$使得上式的结果最小。

计算该式对w中某个特征的微分。

$$\frac{-\ln L(w,b)}{\partial w_i}=\sum _n-[{\hat{y}}^n\frac{\partial \ln f_{w,b}(x^n)}{\partial w_i}+(1-{\hat{y}}^n)\frac{\partial \ln (1-f_{w,b}(x^n))}{\partial w_i}]$$

其中$f_{w,b}(x)=\sigma (z)=\frac{1}{1+exp(-z)}$ ,$z=w\cdot x+b={\sum }_i{w}_i{x}_i+b$

一项一项来求，左项可以写成

$$\frac{\partial \ln f_{w,b}(x)}{\partial w_i}=\frac{\partial \ln f_{w,b}(x)}{\partial z}\frac{\partial z}{\partial w_i}$$

由$z$的表达式知 $\frac{\partial z}{\partial w_i}=x_i$

$$\frac{\partial \ln f_{w,b}(x)}{\partial z}=\frac{\partial \ln \sigma (z)}{\partial z}=\frac{1}{\sigma (z)}\frac{\partial \sigma (z)}{\partial z}=\frac{1}{\sigma (z)}\sigma (z)(1-\sigma (z))=(1-\sigma (z))$$

其中$\frac{\partial \sigma (z)}{\partial z}=\sigma (z)(1-\sigma (z))$ 证明如下：

$$\begin{array}{rl}{\sigma }^{\prime }(z)& =(\frac{1}{1+e^{-z}}{)}^{\prime }\\ & =\frac{0-(-e^{-z})}{(1+e^{-z}{)}^2}\\ & =\frac{1+e^{-z}-1}{(1+e^{-z}{)}^2}\\ & =\frac{1}{(1+e^{-z})}(1-\frac{1}{(1+e^{-z})})\\ & =\sigma (z)(1-\sigma (z))\end{array}$$

而右项

$$\frac{\partial \ln (1-f_{w,b}(x))}{\partial w_i}=\frac{\partial \ln (1-f_{w,b}(x))}{\partial \sigma (z)}\frac{\partial z}{\partial w_i}\frac{\partial z}{\partial w_i}=x_i$$

也就是

$$\frac{\partial \ln (1-\sigma (z))}{\partial \sigma (z)}=-\frac{1}{1-\sigma (z)}\frac{\partial z}{\sigma (z)}=-\frac{1}{1-\sigma (z)}\sigma (z)(1-\sigma (z))=-\sigma (z)$$

所以

$$\begin{array}{rl}\frac{-\ln L(w,b)}{\partial w_i}& =\sum _n-[{\hat{y}}^n\frac{\partial \ln f_{w,b}(x^n)}{\partial w_i}+(1-{\hat{y}}^n)\frac{\partial \ln (1-f_{w,b}(x^n))}{\partial w_i}]\\ & =\sum _n-[{\hat{y}}^n(1-f_{w,b}(x^n))x_i^n-(1-{\hat{y}}^n)f_{w,b}(x^n)x_i^n]\\ & =\sum _n-[{\hat{y}}^n-\bcancel{{\hat{y}}^n{f}_{w,b}(x^n)}-f_{w,b}(x^n)+\bcancel{{\hat{y}}^n{f}_{w,b}(x^n)}]x_i^n\\ & =\sum _n-({\hat{y}}^n-f_{w,b}(x^n))x_i^n\end{array}$$

得到的式子很简单。如果用梯度下降算法来更新它的话，可以写成：

$$w_i\leftarrow w_i-\eta \sum _n-({\hat{y}}^n-f_{w,b}(x^n))x_i^n$$

${\hat{y}}^n-f_{w,b}(x^n)$表示理想的目标与模型的输出的差距，如果差距越大，
那么更新的量应该要越大。

接下来比较下逻辑回归和线性回归更新时的式子：

会发现表达式是一模一样的。唯一不同的是逻辑回归的${\hat{y}}^n$取0或1，f是0~1之间的数值；而线性回归的${\hat{y}}^n$是任意实数，输出也可以是任何实数。

生成模型VS判别模型

我们上面讨论的逻辑回归是判别模型（Discriminative），用高斯分布描述的概率分布模型是生成模型(Generative)。

它们的函数集是一样的 $P(C_1|x)=\sigma (w\cdot x+b)$

用逻辑回归能直接找出$w$和$b$；如果是生成模型，那么需要找到${\mu }^1,{\mu }^2,{\Sigma }^{-1}$，进而求出$w^T$和$b$

根据同一组训练数据，同样的函数集，上面两种模型会得到不同的函数。

如果用上所有的特征，判别模型的准确率更好。

假设有一个非常简单的二元分类问题，每个数据都有两个特征。

Class1我们只有一份数据，它的两个特征都是1；Class2有12份数据，如上。

如果给一份测试数据，它的两个特征都是1：

那么它属于哪个类别的概率大呢？

我们先来看下生成模型，选用朴素贝叶斯模型，朴素说的是每个特征都是独立的。
$P(x|C_i)=P(x_1|C_i)P(x_2|C_i)$

$P(C_1)=\frac{1}{13}$ 给定类别$C_1$，第一个特征是1的几率$P(x_1=1|C_1)=1$,第二个特征是1的几率$P(x_2=1|C_1)=1$，也是1。

$P(C_2)=\frac{12}{13}$ ，给定类别$C_2$，第一个特征是1的几率$P(x_1=1|C_1)=\frac{1}{3}$,第二个特征是1的几率$P(x_2=1|C_1)=\frac{1}{3}$

接下来计算这个测试数据属于类别1的几率

$$P(C_1|x)=\frac{p(x|C_1)P(C_1)}{p(x|C_1)P(C_1)+p(x|C_2)P(C_2)}$$

计算得$P(C_1|x)<0.5$ ，因此判断它属于类别2；而用逻辑回归判断它属于类别1。

多分类问题

多分类问题是指类别超过2个的分类问题。

假设有3个类别，每个类别都有两组参数，我们怎么计算某个样本属于这三个类别的几率分别是多少。
我们计算$z_1,z_2,z_3$

假设有个函数Softmax,它的输入就是$z_1,z_2,z_3$，输出$y_1,y_2,y_3$

假设输入是3,1，-3

首先取e的指数，得到20,2.7,0.05 再把这些数加起来得到22.75，输出就是根据e的指数除以这个加起来的总数。

可以把这些输出当成概率，它们的和刚好是1。$y_i=P(C_i|x)$

我们把$z_1,z_2,z_3$经过Softmax函数后，得到$y_1,y_2,y_3$，我们要计算这些输出和对应的target（实际类别）的交叉熵。

$\hat{y}$的表示如下：

逻辑回归的限制

逻辑回归其实有很大的限制的，以一个简单的二分类问题来举例。

它只有两个特征，如果都是0，则属于类别2；如果$x_1=0,x_2=1$则属于类别1。

把这四个样本画到二维坐标上是下面这个样子，蓝色的点是类别2；红色的点是类别1。

假设现在用逻辑回归模型来训练$z=w_1{x}_1+w_2{x}_2+b$

输入$x_1,x_2$，分别把它们乘以$w_1,w_2$加上$b$得到$z$，代入Sigmoid函数得到输出$y$。

对红色的点来说，$z$要大于等于0，对蓝色的点来说$z$要<0。我们做的到吗？做不到。

$z$是一条直线，因为逻辑回归能做到的事情是画一条这样的直线其中一边属于类别1，另一边属于类别2。

不管怎么画，都无法画出满足条件的直线。

那么怎么办呢，还是有办法的，可以做特征转换。把蓝色点和红点转换成一条直线的两边。

比如可以这样，重新定义特征，把原特征$x_1$和$[0,0{]}^T$的距离定义成新特征$x_1^{\prime }$，把原特征$x_2$和$[1,1{]}^T$的距离定义成新特征$x_2^{\prime }$

比如原特征$[0,0{]}^T$和$[0,0{]}^T$的距离是0，和$[1,1{]}^T$的距离是$\sqrt{2}$，就转换成上图左上角蓝色的点。

然后就可以画一条线将红蓝点分开。

但是特征转换并不总是那么的有用，因为这需要领域知识，要知道该怎么转换。

其实特征转换可以看很多个逻辑回归模型叠加的结果。

可以把$x_1$转换成$x_1^{\prime }$以及$x_2$转换成$x_2^{\prime }$看成是两个逻辑回归模型的结果。

也就是说，如下图蓝色的逻辑回归，输入是$x_1,x_2$输出就是$x_1^{\prime }$；而绿色的逻辑回归，输入是$x_1,x_2$输出就是$x_2^{\prime }$。它们两个做特征转换，而红色的作用就是分类。

我们继续用刚才讲的例子来说明。

假设蓝色的逻辑回归的参数是-1($b$),-2($w_1$),2($w_2$)，就可以计算出$x_1^{\prime }$的值。

$z=w_1{x}_1+w_2{x}_2+b$

也就可以计算出四个点的$x_1^{\prime }$，同理可以计算出四个点的$x_2^{\prime }$。

接下来就可以根据这些$x_1^{\prime },x_2^{\prime }$重新画出一个新的图形。

而红色的逻辑回归测试的就是$x_1^{\prime },x_2^{\prime }$，也就可以画出一条直线将它们分开。

我们可以把逻辑回归串接起来，一部分做特征转换，最后用一个做真正的分类。

那么问题来了，如何找到这些逻辑回归模型的参数呢？

这些逻辑回归的参数可以一起学习到的，只要告诉输入和输出，就可以一次把所有的逻辑回归的参数学习出来。

我们把上面每个逻辑回归模型叫做神经元，每个神经元串接起来后叫做神经网络，这就是深度学习