阿里云天池机器学习训练营_Day1

学习目标

了解 逻辑回归 的理论

掌握 逻辑回归 的 sklearn 函数调用使用并将其运用到鸢尾花数据集预测

Demo实践：

准备软件包：

我们需要现在准备一些软件包

 

numpy：是用Python进行科学计算的基本软件包。

sklearn：为数据挖掘和数据分析提供的简单高效的工具。

matplotlib ：是一个用于在Python中绘制图表的库。

Seaborn：是在matplotlib的基础上进行了更高级的API封装,从而使得作图更加容易

#调入库

import numpy as np

import matplotlib.pyplot as plt 

import seaborn as sns

 

from sklearn.linear_model import LogisticRegression

1

2

3

4

5

6

构造数据集并训练：

logistic 回归，虽然名字里有 “回归” 二字，但实际上是解决分类问题的一类线性模型。通过创建一个逻辑回归分类器clf，通过调用clf.fit()传入训练集训练分类器，得到权重与偏置值，方便进行之后的预测。

对逻辑回归不懂可去观看吴恩达的机器学习视频。

 

## 构造数据集

x_features = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])

y_label = np.array([0, 0, 0, 1, 1, 1])

 

## 调用逻辑回归模型

clf = LogisticRegression()

 

## 用逻辑回归模型拟合构造的数据集

clf = clf.fit(x_features, y_label) #其拟合方程为 y=w0+w1*x1+w2*x2

1

2

3

4

5

6

7

8

9

可视化训练集：

将训练集以散点图的形式显示。

 

plt.figure()

plt.scatter(x_features[:,0],x_features[:,1],c=y_label,s=50)

plt.title("dataset")

plt.show()

1

2

3

4

 

 

可视化决策边界：

这块代码是在课程代码基础上修改后的代码。

主要思想是通过在训练集的最大和最小的x,y范围内，找出一个固定步长的排列，通过meshgrid方法，构造一个网格，生成所有的点（返回的xx为行全相同的矩阵，yy为列全相同的矩阵），通过展开xx和yy矩阵，并通过np.c_按列合并得到所有生成的点的坐标，并将其传入分类器中。

clf.predict_proba()返回的是一个 n 行 k 列的数组， 第 i 行 第 j 列上的数值是模型预测 第 i 个预测样本为某个标签的概率，并且每一行的概率和为1。其实这里选择第一列（clf.predict_proba(z)[:,0]）或第二列（clf.predict_proba(z)[:,1]）都可以。

plt.contour是在levels为0.5处画线。（因为采用sigmoid函数，预测值>=0.5为第一类，反之第二类）

meshgrid和contour不懂可以看这个

 

#绘制决策边界

x_min,x_max = x_features[:,0].min() - 0.3,x_features[:,0].max() + 0.3

y_min,y_max = x_features[:,1].min() - 0.3,x_features[:,1].max() + 0.3

d = 0.01

xx,yy = np.meshgrid(np.arange(x_min,x_max,d),np.arange(x_min,x_max,d))

z = np.c_[xx.ravel(),yy.ravel()]

z_probe = clf.predict_proba(z)[:,1].reshape(xx.shape)

print(z_probe)

plt.contour(xx,yy,z_probe,levels=[0.5],colors = 'blue')

plt.plot()

1

2

3

4

5

6

7

8

9

10

决策边界图像

 

 

基于鸢尾花（iris）数据集的逻辑回归分类实践：

准备软件包：

Pandas：pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。

## 基础函数库

import numpy as np 

import pandas as pd

 

## 绘图函数库

import matplotlib.pyplot as plt

import seaborn as sns

1

2

3

4

5

6

7

构造数据集：

对DataFrame格式不懂的看pandas官方文档

 

## 我们利用 sklearn 中自带的 iris 数据作为数据载入，并利用Pandas转化为DataFrame格式

from sklearn.datasets import load_iris

data = load_iris() #得到数据特征

iris_target = data.target #得到数据对应的标签

iris_features = pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式

1

2

3

4

5

进行二分类进行训练预测：

将数据集的80%分为训练集，20%作为测试集。

 

from sklearn.model_selection import train_test_split

 

## 选择其类别为0和1的样本 （不包括类别为2的样本）

iris_features_part = iris_features.iloc[:100]

iris_target_part = iris_target[:100]

 

## 测试集大小为20%， 80%/20%分

#这里的random_state是为了保证每次随机划分的测试集和训练集是一样的

x_train, x_test, y_train, y_test = train_test_split(iris_features_part, iris_target_part, test_size = 0.2, random_state = 2020)

 

 

## 从sklearn中导入逻辑回归模型

from sklearn.linear_model import LogisticRegression

 

## 定义 逻辑回归模型 

clf = LogisticRegression(random_state=0, solver='lbfgs')

 

# 在训练集上训练逻辑回归模型

clf.fit(x_train, y_train)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

可视化热力图：

from sklearn import metrics

 

## 利用accuracy（准确度）【预测正确的样本数目占总预测样本数目的比例】评估模型效果

print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))

print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))

 

## 查看混淆矩阵 (预测值和真实值的各类情况统计矩阵)

confusion_matrix_result = metrics.confusion_matrix(test_predict,y_test)

print('The confusion matrix result:\n',confusion_matrix_result)

 

# 利用热力图对于结果进行可视化

plt.figure(figsize=(8, 6))

sns.heatmap(confusion_matrix_result, annot=True, cmap='Blues')

plt.xlabel('Predicted labels')

plt.ylabel('True labels')

plt.show()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

 

 

总结：

①巩固了之前的理论知识，理论转变为实践。

②锻炼了可视化操作的能力