机器学习7-逻辑斯蒂回归实现西瓜数据集2.0的二分类

我们在实现西瓜数据集2.0分类之前先讲讲逻辑回归的原理。

1 什么是逻辑回归

  逻辑回归不是一个回归的算法，逻辑回归是一个分类的算法，好比卡巴斯基不是司机，红烧狮子头没有狮子头一样。 那为什么逻辑回归不叫逻辑分类？因为逻辑回归算法是基于多元线性回归的算法。而正因为此，逻辑回归这个分类算法是线性的分类器。

逻辑回归算法（LogisticRegression）是分类算法，我们将它作为分类算法使用。有时候可能因为这个算法的名字中出现了“回归”使你感到困惑，但逻辑回归算法实际上是一种分类算法，它适用于标签 y 取值离散的情况，如：1 0 0 1。

  逻辑回归中对应一条非常重要的曲线S型曲线，对应的函数是Sigmoid函数：

$f(x)=\frac{1}{1+e^{-x}}$

它有一个非常棒的特性，其导数可以用其自身表示：

$f^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}=f(x)\ast \frac{1+e^{-x}-1}{1+e^{-x}}=f(x)\ast (1-f(x))$

import numpy as np
import matplotlib.pyplot as plt
def sigmoid(x):
    return 1/(1 + np.exp(-x))
x = np.linspace(-5,5,100)
y = sigmoid(x)
plt.plot(x,y,color = 'green')

1.1 Sigmoid函数介绍

  逻辑回归就是在多元线性回归基础上把结果缩放到 0 ~ 1 之间。 $h_{\theta }(x)$ 越接近 1 越是正例，$h_{\theta }(x)$ 越接近 0 越是负例，根据中间 0.5 将数据分为二类。其中$h_{\theta }(x)$ 就是概率函数~

$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$

  我们知道分类器的本质就是要找到分界，所以当我们把 0.5 作为分类边界时，我们要找的就是$\hat{y}=h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}=0.5$ ，即 $z={\theta }^{T}x=0$ 时，$\theta$ 的解~

求解过程如下：

  什么事情，都要做到知其然，知其所以然，我们知道二分类有个特点就是正例的概率 + 负例的概率 = 1。一个非常简单的试验是只有两种可能结果的试验，比如正面或反面，成功或失败，有缺陷或没有缺陷，病人康复或未康复等等。为方便起见，记这两个可能的结果为 0 和 1，下面的定义就是建立在这类试验基础之上的。 如果随机变量 x 只取 0 和 1 两个值，并且相应的概率为：

• $Pr(x=1)=p;Pr(x=0)=1-p;0<p<1$

  则称随机变量 x 服从参数为 p 的Bernoulli伯努利分布( 0-1分布)，则 x 的概率函数可写：

• $f(x|p)=\{\begin{array}{ll}{p}^x(1-p{)}^{1-x},& x=1、0\\ 0,& x\ne 1、0\end{array}$

  逻辑回归二分类任务会把正例的 label 设置为 1，负例的 label 设置为 0，对于上面公式就是 x = 0、1。

2 逻辑回归公式推导

2.1 损失函数推导

  这里我们依然会用到最大似然估计思想，根据若干已知的 X,y(训练集) 找到一组 $\theta$ 使得 X 作为已知条件下 y 发生的概率最大。

关于什么是最大似然估计可以参考我这篇文章哦：机器学习4-线性回归算法推导

$P(y|x;\theta )=\{\begin{array}{ll}{h}_{\theta }(x),& y=1\\ 1-h_{\theta }(x),& y=0\end{array}$

整合到一起（二分类就两种情况：1、0）得到逻辑回归表达式：

$P(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$

我们假设训练样本相互独立，那么似然函数表达式为:

$L(\theta )=\prod _{i=1}^{n}P(y^{(i)}|x^{(i)};\theta )$

$L(\theta )=\prod _{i=1}^n(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}$

对数转换，自然底数为底

$l(\theta )=\ln L(\theta )=\ln (\prod _{i=1}^n(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}})$

化简，累乘变累加：

$l(\theta )=\ln L(\theta )=\sum _{i=1}^n(y^{(i)}\ln (h_{\theta }(x^{(i)}))+(1-y^{(i)})\ln (1-h_{\theta }(x^{(i)})))$

  总结，得到了逻辑回归的表达式，下一步跟线性回归类似，构建似然函数，然后最大似然估计，最终推导出 $\theta$ 的迭代更新表达式。只不过这里用的不是梯度下降，而是梯度上升，因为这里是最大化似然函数。通常我们一提到损失函数，往往是求最小，这样我们就可以用梯度下降来求解。最终损失函数就是上面公式加负号的形式:

$J(\theta )=-l(\theta )=-\sum _{i=1}^n[y^{(i)}\ln (h_{\theta }(x^{(i)}))+(1-y^{(i)})\ln (1-h_{\theta }(x^{(i)}))]$

3 逻辑回归迭代公式

3.1 函数特性

  逻辑回归参数更新规则：
${\theta }_j^{t+1}={\theta }_j^t-\alpha \frac{\partial }{{\partial }_{{\theta }_j}}J(\theta )$

• $\alpha$ 表示学习率

逻辑回归函数：

$h_{\theta }(x)=g({\theta }^{T}x)=g(z)=\frac{1}{1+e^{-z}}$

• $z={\theta }^{T}x$

逻辑回归函数求导时有一个特性，这个特性将在下面的推导中用到，这个特性为：

$\begin{array}{rl}{g}^{\prime }(z)& =\frac{\partial }{\partial z}\frac{1}{1+e^{-z}}\\ & \\ & =\frac{e^{-z}}{(1+e^{-z}{)}^2}\\ & \\ & =\frac{1}{(1+e^{-z}{)}^2}\cdot e^{-z}\\ & \\ & =\frac{1}{1+e^{-z}}\cdot (1-\frac{1}{1+e^{-z}})\\ & \\ & =g(z)\cdot (1-g(z))\end{array}$

回到逻辑回归损失函数求导：

$J(\theta )=-\sum _{i=1}^n(y^{(i)}\ln (h_{\theta }(x^i))+(1-y^{(i)})\ln (1-h_{\theta }(x^{(i)})))$

3.2 求导过程

$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =-\sum _{i=1}^n(y^{(i)}\frac{1}{h_{\theta }(x^{(i)})}\frac{\partial }{{\partial }_{{\theta }_j}}{h}_{\theta }(x^i)+(1-y^{(i)})\frac{1}{1-h_{\theta }(x^{(i)})}\frac{\partial }{{\partial }_{{\theta }_j}}(1-h_{\theta }(x^{(i)})))\\ & \\ & =-\sum _{i=1}^n(y^{(i)}\frac{1}{h_{\theta }(x^{(i)})}\frac{\partial }{{\partial }_{{\theta }_j}}{h}_{\theta }(x^{(i)})-(1-y^{(i)})\frac{1}{1-h_{\theta }(x^{(i)})}\frac{\partial }{{\partial }_{{\theta }_j}}{h}_{\theta }(x^{(i)}))\\ & \\ & =-\sum _{i=1}^n(y^{(i)}\frac{1}{h_{\theta }(x^{(i)})}-(1-y^{(i)})\frac{1}{1-h_{\theta }(x^{(i)})})\frac{\partial }{{\partial }_{{\theta }_j}}{h}_{\theta }(x^{(i)})\\ & \\ & =-\sum _{i=1}^n(y^{(i)}\frac{1}{h_{\theta }(x^{(i)})}-(1-y^{(i)})\frac{1}{1-h_{\theta }(x^{(i)})})h_{\theta }(x^{(i)})(1-h_{\theta }(x^{(i)}))\frac{\partial }{{\partial }_{{\theta }_j}}{\theta }^{T}x\\ & \\ & =-\sum _{i=1}^n(y^{(i)}(1-h_{\theta }(x^{(i)}))-(1-y^{(i)})h_{\theta }(x^{(i)}))\frac{\partial }{{\partial }_{{\theta }_j}}{\theta }^{T}x\\ & \\ & =-\sum _{i=1}^n(y^{(i)}-h_{\theta }(x^{(i)}))\frac{\partial }{{\partial }_{{\theta }_j}}{\theta }^{T}x\\ & \\ & =\sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}\end{array}$

求导最终的公式：

$\frac{\partial }{\partial {\theta }_j}J(\theta )=\sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

逻辑回归参数迭代更新公式：

${\theta }_j^{t+1}={\theta }_j^t-\alpha \cdot \sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

4 逻辑回归实现西瓜数据集2.0的分类

我们将双线上部划为训练集，双线下部划为验证集。

'''
属性[x]
色泽：乌黑0, 青绿1, 浅白2
根蒂：蜷缩0, 稍蜷1, 硬挺2
敲声：浊响0, 沉闷1, 清脆2
纹理：清晰0, 稍糊1, 模糊2
脐部：凹陷0, 稍凹1, 平坦2
触感：硬滑0, 软粘1

预测结果[y]
好瓜1，坏瓜0
'''

import numpy as np
from sklearn.linear_model import LogisticRegression

# 训练数据，西瓜数据集2.0，表4.2
X_train = np.array([[1, 0, 0, 0, 0, 0], [0, 0, 1, 0, 0, 0], [0, 0, 0, 0, 0, 0],
                    [1, 1, 0, 0, 1, 1], [0, 1, 0, 1, 1, 1], [1, 2, 2, 0, 2, 1],
                    [2, 1, 1, 1, 0, 0],  [0, 1, 0, 0, 1, 1],[2, 0, 0, 2, 2, 0],
                    [1, 0, 1, 1, 1, 0]])
y_train = np.array([1, 1, 1, 1, 1, 0, 0, 0, 0, 0])

# 测试数据 表4.2
X_test = np.array([[1, 0, 1, 0, 0, 0],[2, 0, 0, 0, 0, 0],[0, 1, 0, 0, 1, 0],
                  [0, 1, 1, 1, 1, 0],[2, 2, 2, 2, 2, 0],[2, 0, 0, 2, 2, 1],
                  [1, 1, 0, 1, 0, 0]])
y_test = np.array([1, 1, 1, 0, 0, 0, 0])

# 训练
model = LogisticRegression()
model.fit(X_train,y_train)

# 预测
y_pred = model.predict(X_test)

# 显示是否预测正确
print('预测结果是：',y_pred)
print('真实结果是：',y_test)

# 计算概率,第一列为0的概率，第二列为1的概率
proba_ = model.predict_proba(X_test)
print('预测概率是：\n',proba_)

从结果来看。预测结果概率还是很大的，这个前提是训练数据要具有科学合理性和足够多！