阿里云天池机器学习训练营-Day1

学习目标：

• 了解 逻辑回归 的理论
• 掌握 逻辑回归 的 sklearn 函数调用使用并将其运用到鸢尾花数据集预测

Demo实践：

准备软件包：

我们需要现在准备一些软件包

• numpy：是用Python进行科学计算的基本软件包。
• sklearn：为数据挖掘和数据分析提供的简单高效的工具。
• matplotlib ：是一个用于在Python中绘制图表的库。
• Seaborn：是在matplotlib的基础上进行了更高级的API封装,从而使得作图更加容易

#调入库
import numpy as np
import matplotlib.pyplot as plt 
import seaborn as sns

from sklearn.linear_model import LogisticRegression

构造数据集并训练：

logistic 回归，虽然名字里有 “回归” 二字，但实际上是解决分类问题的一类线性模型。通过创建一个逻辑回归分类器clf，通过调用clf.fit()传入训练集训练分类器，得到权重与偏置值，方便进行之后的预测。
对逻辑回归不懂可去观看吴恩达的机器学习视频。

## 构造数据集
x_features = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])

## 调用逻辑回归模型
clf = LogisticRegression()

## 用逻辑回归模型拟合构造的数据集
clf = clf.fit(x_features, y_label) #其拟合方程为 y=w0+w1*x1+w2*x2

可视化训练集：

将训练集以散点图的形式显示。

plt.figure()
plt.scatter(x_features[:,0],x_features[:,1],c=y_label,s=50)
plt.title("dataset")
plt.show()

可视化决策边界：

这块代码是在课程代码基础上修改后的代码。
主要思想是通过在训练集的最大和最小的x,y范围内，找出一个固定步长的排列，通过meshgrid方法，构造一个网格，生成所有的点（返回的xx为行全相同的矩阵，yy为列全相同的矩阵），通过展开xx和yy矩阵，并通过np.c_按列合并得到所有生成的点的坐标，并将其传入分类器中。
clf.predict_proba()返回的是一个 n 行 k 列的数组， 第 i 行 第 j 列上的数值是模型预测 第 i 个预测样本为某个标签的概率，并且每一行的概率和为1。其实这里选择第一列（clf.predict_proba(z)[:,0]）或第二列（clf.predict_proba(z)[:,1]）都可以。
plt.contour是在levels为0.5处画线。（因为采用sigmoid函数，预测值>=0.5为第一类，反之第二类）
meshgrid和contour不懂可以看这个

#绘制决策边界
x_min,x_max = x_features[:,0].min() - 0.3,x_features[:,0].max() + 0.3
y_min,y_max = x_features[:,1].min() - 0.3,x_features[:,1].max() + 0.3
d = 0.01
xx,yy = np.meshgrid(np.arange(x_min,x_max,d),np.arange(x_min,x_max,d))
z = np.c_[xx.ravel(),yy.ravel()]
z_probe = clf.predict_proba(z)[:,1].reshape(xx.shape)
print(z_probe)
plt.contour(xx,yy,z_probe,levels=[0.5],colors = 'blue')
plt.plot()

决策边界图像

基于鸢尾花（iris）数据集的逻辑回归分类实践：

准备软件包：

• Pandas：pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。

##  基础函数库
import numpy as np 
import pandas as pd

## 绘图函数库
import matplotlib.pyplot as plt
import seaborn as sns

构造数据集：

对DataFrame格式不懂的看pandas官方文档

## 我们利用 sklearn 中自带的 iris 数据作为数据载入，并利用Pandas转化为DataFrame格式
from sklearn.datasets import load_iris
data = load_iris() #得到数据特征
iris_target = data.target #得到数据对应的标签
iris_features = pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式

进行二分类进行训练预测：

将数据集的80%分为训练集，20%作为测试集。

from sklearn.model_selection import train_test_split

## 选择其类别为0和1的样本 （不包括类别为2的样本）
iris_features_part = iris_features.iloc[:100]
iris_target_part = iris_target[:100]

## 测试集大小为20%， 80%/20%分
#这里的random_state是为了保证每次随机划分的测试集和训练集是一样的
x_train, x_test, y_train, y_test = train_test_split(iris_features_part, iris_target_part, test_size = 0.2, random_state = 2020)


## 从sklearn中导入逻辑回归模型
from sklearn.linear_model import LogisticRegression

## 定义 逻辑回归模型 
clf = LogisticRegression(random_state=0, solver='lbfgs')

# 在训练集上训练逻辑回归模型
clf.fit(x_train, y_train)

可视化热力图：

from sklearn import metrics

## 利用accuracy（准确度）【预测正确的样本数目占总预测样本数目的比例】评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))

## 查看混淆矩阵 (预测值和真实值的各类情况统计矩阵)
confusion_matrix_result = metrics.confusion_matrix(test_predict,y_test)
print('The confusion matrix result:\n',confusion_matrix_result)

# 利用热力图对于结果进行可视化
plt.figure(figsize=(8, 6))
sns.heatmap(confusion_matrix_result, annot=True, cmap='Blues')
plt.xlabel('Predicted labels')
plt.ylabel('True labels')
plt.show()

总结：

①巩固了之前的理论知识，理论转变为实践。
②锻炼了可视化操作的能力。