吴恩达机器学习——第7章 逻辑回归

概述

一看到这个驴唇不对马嘴的名字，就忍不住笑，明明是个分类算法，却非要命名为逻辑回归。这是个历史问题，是由于逻辑规则算法中的假设函数而来的，它的假设函数别名为“逻辑函数”。
逻辑回归是用来解决二分类问题的机器学习方法，用来评估某种事物的可能性。

名词解释

伯努利分布

这个名词非常好记：“不努力”。
伯努利分布又称“两点分布”或“0-1分布”，来源于伯努利实验。在做实验的时候，只有两种结果：成功、失败。假设成功的概率为p，则失败的概率就是1-p。

基本原理

逻辑回归是基于线性回归实现的，在线性回归的基础上增量了一个函数，从而增加了非线性的特性。

假设函数

线性回归的假设函数是$h_{\theta }(x)={\theta }^{T}X$，逻辑回归在线性函数的基础上增加函数$g(z)=\frac{1}{1+e^{-z}}$，得出逻辑回归的假设函数是：
$$h_{\theta }(x)=g({\theta }^{T}X)=\frac{1}{1+e^{-{\theta }^{T}X}}$$

为了方便理解，假设这是一个二分类问题，y的取值只能是0或1。
则$h_{\theta }(x)$就是针对指定x，y=1的概率，使用数学概率表示为：$h_{\theta }(x)=P(y=1|x;\theta )$，意思是在限定x θ的情况下y=1的概率。
y=0的概率就是$P(y=0|x;\theta )=1-P(y=1|x;\theta )$

决策边界

$g(z)$函数的效果图如下所示：

当z趋近于无限大时，函数值无限趋近于1；当z趋近于无穷小时，函数值趋近于0；
当z=0时，函数值为0.5。
作为一个二分类问题，结果只能是0和1两种，所以我们做个假设：

• 当$g(z)>=0.5$时，结果y为1.也就是$z={\theta }^{T}X>=0$
• 当$g(z)<0.5$时，结果y为0.也就是$z={\theta }^{T}X<0$

基于以上的结论，我们可以对具体的逻辑回归案例进行分析，找出两个分类的临界点即决策边界。

线性的决策边界

假设逻辑回归的假设函数为$h_{\theta }(x)=g({\theta }_0+{\theta }_1\ast x_1+{\theta }_2\ast x_2)$，θ取值是$\left[\begin{array}{ccc}-3& 1& 1\end{array}\right]$（参数的拟合过程老师没有给出，此处的目的是为了解释决策边界，而不是参数的拟合），根据上面的推导过程有以下的结论：

• 当$z={\theta }^{T}X>=0$时，y=1，即${\theta }_0+{\theta }_1\ast x_1+{\theta }_2\ast x_2>=0$，带入θ值，
  即$-3+x_1+x_2>=0$
  即$x_1+x_2>=3$时，y=1
• 同理当$z={\theta }^{T}X<0$时，y=0，即$x_1+x_2<3$时。
  
  如上图所示，所有的元素以中间紫色的直线为界分为两部分，蓝色为y=0，红色的y=1，紫色的直线就是决策边界。
  需要注意的是当θ确定后，决策边界就确定了，它是假设函数的属性，不是训练集的属性。

圆形的决策边界

假设逻辑回归的假设函数为$h_{\theta }(x)=g({\theta }_0+{\theta }_1\ast x_1+{\theta }_2\ast x_2+{\theta }_3\ast x_1^2+{\theta }_4\ast x_2^2)$，θ取值是$\left[\begin{array}{ccccc}-1& 0& 0& 1& 1\end{array}\right]$，根据上面的推导过程有以下的结论：

• 当$z={\theta }^{T}X>=0$时，y=1，即${\theta }_0+{\theta }_1\ast x_1+{\theta }_2\ast x_2+{\theta }_3\ast x_1^2+{\theta }_4\ast x_2^2>=0$，带入θ值，
  即$-1+x_1^2+x_2^2>=0$
  即$x_1^2+x_2^2>=1$时，y=1
• 同理当$z={\theta }^{T}X<0$时，y=0，即$x_1^2+x_2^2<1$时。
  
  对应的决策边界是个圆形。

不规则的决策边界

通过调整假设函数，可以得出不同的决策边界。

代价函数

代价函数是拟合参数的手段，回顾一下线性回归的代价函数为：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2=\frac{1}{m}\sum _{i=1}^m\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
假设：$$cost(h_{\theta }(x^{(i)}),y^{(i)})=\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
简化一下，去掉i $$cost(h_{\theta }(x),y)=\frac{1}{2}(h_{\theta }(x)-y{)}^2$$
因为在逻辑回归中$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}X}}$$
则代入到$J(\theta )$中后画出的图形如下图所示，有很多局部优化点，这种图形称之为“非凸函数”，不利于进行梯度下降：
下面给出逻辑回归的代价函数：
$$cost(h_{\theta }(x),y)=\left\{\begin{array}{r}-log(h_{\theta }(x))ify=1\\ -log(1-h_{\theta }(x))ify=0\end{array}\right\}$$
该公式等价于：
$$cost(h_{\theta }(x),y)=\left\{\begin{array}{r}-y\ast log(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))\end{array}\right\}$$

y=1的情况下，代价函数的图形如下所示，y轴代表代价函数的值，则当$h_{\theta }(x)$趋近于1时代价函数趋近于0，所以可知$h_{\theta }(x)=1$时，y=1的概率最大：

y=0的情况下，代价函数的图形如下所示，y轴代表代价函数的值，则当$h_{\theta }(x)$趋近于0时代价函数趋近于0，所以可知$h_{\theta }(x)=0$时，y=0的概率最大：

这与我们的推想是一致的，当预测值与实际值一致时，没有代价：

• $h_{\theta }(x)=0$时，y=0的概率最大，代价为0；
• $h_{\theta }(x)=1$时，y=1的概率最大，代价为0；

我们同样可以使用梯度下降法去求θ，梯度下降法可以参考线性回归中的描述。
梯度下降并不是唯一的算法，也可以使用conjugate gradiat、BFGS、L-BFGS算法计算，这些算法更加复杂也更加智能，计算速率也更快。

多类别分类算法

多类别分类问题，可以看成是多个二分类问题，假设现在y的取值范围变成了（1，2，3），可以定义以下3个假设函数：

• $h_{\theta }^{(1)}(x)$，表示特定θX的情况下，y=1的概率：P(y=1|x;θ)
• $h_{\theta }^{(2)}(x)$，表示特定θX的情况下，y=2的概率：P(y=2|x;θ)
• $h_{\theta }^{(3)}(x)$，表示特定θX的情况下，y=3的概率：P(y=3|x;θ)

所以假设函数可以表示为：$h_{\theta }^{(i)}(x)=P(y=i|x;\theta )$

所以判断x是什么类别，就是把x分别代入到3个公式中，取h最大的i作为最终的类别。

示例

from sklearn.linear_model import LogisticRegression
import os
import pandas as pd
import numpy as np

# 要预测的结果字段
y_label = ['predclass']
# training_data 训练集，指标字段
x_label = [i for i in training_data.columns if i not in y_label]

lr = LogisticRegression(C=0.01, penalty='l1')

lr.fit(training_data[x_label], training_data[y_label])
# test_data是测试集，在测试集上测试一下效果
score = lr.score(test_data[x_label], test_data['predclass'])
# 速度比近邻要快得多
print("score", score)

参考

https://zhuanlan.zhihu.com/p/28408516