利用sklearn实现逻辑回归

1. sklearn介绍

在利用sklearn实现逻辑回归前，可能会有人疑惑sklearn究竟是什么，那在这之前，我们先来看一下sklearn是一个什么东西吧。

先字面解释一下：Sklearn (全称 Scikit-Learn) 是基于 Python 语言的机器学习工具。它建立在 NumPy, SciPy, Pandas 和 Matplotlib 之上，里面的 API 的设计非常好，所有对象的接口简单，很适合新手上路。（简单粗暴地说就是：sklearn里面已经集成好了很多机器学习算法，并且需要的相关依赖也解决了，我们只需要调用sklearn的接口，就可以实现机器学习算法。当我们对接口很熟悉了之后，我们就可轻松的调用并实现各种算法，这时我们也获得了“API工程师”，“调包侠”的称号）。

我们先来直观的看一下sklearn能做些啥吧，直接上官网首页：sklearn官网

能实现的功能一目了然，即：分类、回归、聚类、降维、模型选择和预处理

2. 利用sklearn实现逻辑回归

下面就正式的开始利用sklearn来实现逻辑回归吧。

1. 首先导入我们完成这个例子所需要的库：

#导入数值计算的基础库
import numpy as np 
## 导入画图库
import matplotlib.pyplot as plt
import seaborn as sns
## 导入逻辑回归模型函数
from sklearn.linear_model import LogisticRegression

2. 构造数据集

#利用numpy随意构造我们想要的数据集及其标签
x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])

3. 调用逻辑回归模型并利用我们构造的数据集训练模型

# 调用逻辑回归模型
lr_clf = LogisticRegression()
# 用逻辑回归模型拟合构造的数据集
lr_clf = lr_clf.fit(x_fearures, y_label) #其拟合方程为 y=w0+w1*x1+w2*x2

4. 我们利用训练好的模型来进行预测

# 生成两个新的样本
x_fearures_new1 = np.array([[0, -1]])
x_fearures_new2 = np.array([[1, 2]])
# 利用在训练集上训练好的模型进行预测
y_label_new1_predict = lr_clf.predict(x_fearures_new1)
y_label_new2_predict = lr_clf.predict(x_fearures_new2)
# 打印预测结果
print('The New point 1 predict class:\n',y_label_new1_predict)
print('The New point 2 predict class:\n',y_label_new2_predict)

# 由于逻辑回归模型是概率预测模型,所有我们可以利用 predict_proba 函数预测其概率
# predict_proba 函数可以预测样本属于每一类的概率值
y_label_new1_predict_proba = lr_clf.predict_proba(x_fearures_new1)
y_label_new2_predict_proba = lr_clf.predict_proba(x_fearures_new2)

print('The New point 1 predict Probability of each class:\n',y_label_new1_predict_proba)
print('The New point 2 predict Probability of each class:\n',y_label_new2_predict_proba)

# The New point 1 predict class:
# [0]
# The New point 2 predict class:
# [1]
# The New point 1 predict Probability of each class:
# [[0.69567724 0.30432276]]
# The New point 2 predict Probability of each class:
# [[0.11983936 0.88016064]]

下面我们对模型和数据进行可视化，来看一下模型他到底学习到了什么，为什么能够进行预测。

5. 模型学习到的参数：前一节课我们讲了逻辑回归就是找出一组参数，能够使预测值与真实值更加的接近。那么我们来看一下模型到底学习到了什么（即：他到底学习到了什么参数）

# 查看其对应模型的w（各项的系数）
print('the weight of Logistic Regression:',lr_clf.coef_)
# 查看其对应模型的w0(截距)
print('the intercept(w0) of Logistic Regression:',lr_clf.intercept_)

# the weight of Logistic Regression: [[0.73455784 0.69539712]]
# the intercept(w0) of Logistic Regression: [-0.13139986]

这三个参数就是模型通过训练集所学习到的东西。

3. 数据，模型可视化

下面我们来对训练数据，测试数据以及决策边界做一个可视化

1. 首先来看一下训练数据

## 可视化构造的训练数据
plt.figure()
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')
plt.show()

2. 接着再可视化决策边界

# 可视化决策边界

# 先可视化训练数据
plt.figure()
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')

# 将上面绘制的训练数据的图像，在x轴范围内等距均分为200点，y轴范围内等距均分为100个点，
# 就相当于在绘制的图像上划分了间隔相等的20000个点（100行，200列）
nx, ny = 200, 100
x_min, x_max = plt.xlim()
y_min, y_max = plt.ylim()
x_grid, y_grid = np.meshgrid(np.linspace(x_min, x_max, nx),np.linspace(y_min, y_max, ny))
# 并分别预测这20000个点y=1的概率，并设置绘制轮廓线的位置为0.5（即y=0.5处，绘制等高线高度），并设置线宽为2，
# 颜色为蓝色（图中蓝色线即为决策边界），当然我们也可以将将0.5设置为其他的值，更换绘制等高线的位置，
# 同时也可以设置一组0~1单调递增的值，绘制多个不同位置的等高线
# 也可以理解为，此时我们将0.5设置为阈值，当p>0.5时，y=1；p<0.5时，y=0，蓝色线就是分界线
z_proba = lr_clf.predict_proba(np.c_[x_grid.ravel(), y_grid.ravel()])
z_proba = z_proba[:, 1].reshape(x_grid.shape)
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')

plt.show()

3. 最后再可视化测试数据

# 可视化测试数据
plt.figure()
# 可视化测试数据1， 并进行相应的文字注释
x_fearures_new1 = np.array([[0, -1]])
plt.scatter(x_fearures_new1[:,0],x_fearures_new1[:,1], s=50, cmap='viridis')
plt.annotate(s='New point 1',xy=(0,-1),xytext=(-2,0),color='blue',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))

# 可视化测试数据2， 并进行相应的文字注释
x_fearures_new2 = np.array([[1, 2]])
plt.scatter(x_fearures_new2[:,0],x_fearures_new2[:,1], s=50, cmap='viridis')
plt.annotate(s='New point 2',xy=(1,2),xytext=(-1.5,2.5),color='red',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))

# 可视化训练数据
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')

# 可视化决策边界
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')

plt.show()

我们可以看到现在可视化的结果印证可上面模型预测的结果（即测试样本1的标签值y=0, 测试样本1的标签值y=1）。

至此，我们便完成了利用sklearn实现逻辑回归的任务了。