逻辑回归

逻辑回归算法原理

① 逻辑回归是一个分类模型,并且广泛应用于各个领域之中。针对的是数据响应变量的取值不是连续的,分布不是正态的情况。
② 二分类的Logistic回归:因变量Y取值为0或1,一般我们将感兴趣的那一类取值为“1”
③ 在给定 X = x X=x X=x的情况下,因变量的条件分布是0—1分布,其条件期望实际上就是因变量在自变量的某种水平下取“1”的概率.
E ( Y ∣ X = x ) = 1 ⋅ P ( Y = 1 ∣ X = x ) + 0 ⋅ P ( Y = 0 ∣ X = x ) E(Y|X=x)=1\cdot P(Y=1|X=x)+0\cdot P(Y=0|X=x) E(YX=x)=1P(Y=1X=x)+0P(Y=0X=x)
P ( Y = 1 ∣ X = x ) = p = e β 0 + β T x 1 + e β 0 + β T x P(Y=1|X=x)=p=\frac{e^{\beta_0+\beta^Tx}}{1+e^{\beta_0+\beta^Tx}} P(Y=1X=x)=p=1+eβ0+βTxeβ0+βTx
④ logit变化为
ln ⁡ p 1 − p = β 0 + β T x \ln\frac{p}{1-p}=\beta_0+\beta^Tx ln1pp=β0+βTx
⑤逻辑回归模型的优劣势:
i.优点:实现简单,易于理解和实现;计算代价不高,速度很快,存储资源低;
ii.缺点:容易欠拟合,分类精度可能不高。

逻辑回归算法实践

step 1 库函数导入

#基础函数库
import numpy as np
#导入画图库
import matplotlib.pyplot as plt
import seaborn as sns
#导入逻辑回归模型函数
from sklearn.linear_model import LogisticRegression

step 2 模型训练

#构造数据表
x_features=np.array([[-1,-2],[-2,-1],[-3,-2],[1,3],[2,1],[3,2]])
y_label=np.array([0,0,0,1,1,1])
#调用逻辑回归模型
lr_clf=LogisticRegression()
#用逻辑回归模型拟合构造的数据集
lr_clf=lr_clf.fit(x_features,y_label)
#lr_clf

step 3 模型参数查看

#拟合方程为y=w0+w1*x1+w2*x2
#查看其对应模型的w
print('the weight of Logistic Regression:',lr_clf.coef_)
#查看其对应模型的w0
print('the intercept(w0) of Logistic Regression:',lr_clf.intercept_)

结果:
在这里插入图片描述

step 4 数据和模型可视化

#可视化构造的数据样本点
plt.figure()
plt.scatter(x_features[:,0],x_features[:,1],c=y_label,s=50,cmap='viridis')
plt.title('Dataset')
plt.show()

结果:
在这里插入图片描述

#可视化决策边界
plt.figure()
plt.scatter(x_features[:,0],x_features[:,1],c=y_label,s=50,cmap='viridis')
plt.title('Dataset')

nx,ny=200,100
x_min,x_max=plt.xlim()
y_min,y_max=plt.ylim()
x_grid,y_grid=np.meshgrid(np.linspace(x_min,x_max,nx),np.linspace(y_min,y_max,ny))

z_proba=lr_clf.predict_proba(np.c_[x_grid.ravel(),y_grid.ravel()])
z_proba=z_proba[:,1].reshape(x_grid.shape)
plt.contour(x_grid,y_grid,z_proba,[0.5],linewidths=2.,colors='blue')

plt.show()

结果:
在这里插入图片描述

#可视化预测新样本
plt.figure()
#new point 1
x_features_new1=np.array([[0,-1]])
plt.scatter(x_features_new1[:,0],x_features_new1[:,1],s=50,cmap='viridis')
plt.annotate(s='New point 1',xy=(0,-1),xytext= 
            (-2,0),color='blue',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))

#new point 2
x_features_new2=np.array([[1,2]])
plt.scatter(x_features_new2[:,0],x_features_new2[:,1],s=50,cmap='viridis')
plt.annotate(s='New point 2',xy=(1,2),xytext= 
            (-1.5,2.5),color='red',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))
#训练样本
plt.scatter(x_features[:,0],x_features[:,1],c=y_label,s=50,cmap='viridis')
plt.title('Dataset')

#可视化决策边界
plt.contour(x_grid,y_grid,z_proba,[0.5],linewidths=2.,colors='blue')
plt.show()

在这里插入图片描述

step 5 模型预测

#在训练集和测试集上分别利用训练好的模型进行预测
y_label_new1_predict=lr_clf.predict(x_features_new1)
y_label_new2_predict=lr_clf.predict(x_features_new2)

print('The New point 1 predict class:\n',y_label_new1_predict)
print('The New point 2 predict class:\n',y_label_new2_predict)

#由于逻辑回归模型是概率预测模型(前文介绍的p=p(y=1|x,\theta)),所以我们可以利用predict_proba函数预测其概率
y_label_new1_predict_proba=lr_clf.predict_proba(x_features_new1)
y_label_new2_predict_proba=lr_clf.predict_proba(x_features_new2)

print('The New point 1 predict Probability of each class:\n',y_label_new1_predict_proba)
print('The Nwe point 2 predict Probability of each class:\n',y_label_new2_predict_proba)

结果:
在这里插入图片描述

注:predict_proba返回的是一个 n 行 k 列的数组, 第 i 行 第 j 列上的数值是模型预测 第 i 个预测样本为某个标签的概率,并且每一行的概率和为1。

基于鸢尾花(iris)数据集的分类预测

Step 1 库函数导入

#基础库函数
import numpy as np
import pandas as pd

#绘图函数库
import matplotlib.pyplot as plt
import seaborn as sns

本次我们选择鸢花数据(iris)进行方法的尝试训练,该数据集一共包含5个变量,其中4个特征变量,1个目标分类
变量。共有150个样本,目标变量为 花的类别 其都属于鸢尾属下的三个亚属,分别是山鸢尾 (Iris-setosa),变色鸢
尾(Iris-versicolor)和维吉尼亚鸢尾(Iris-virginica)。包含的三种鸢尾花的四个特征,分别是花萼长度(cm)、花萼宽度
(cm)、花瓣长度(cm)、花瓣宽度(cm),这些形态特征在过去被用来识别物种。

Step 2 数据读取/载入

#我们利用sklearn中自带的iris数据作为数据载入,并利用Pandas转化为DataFrame格式
from sklearn.datasets import load_iris
#得到数据特征
data=load_iris()
#得到数据对应的标签
iris_target=data.target
#利用Pandas转化为DataFrame格式
iris_features=pd.DataFrame(data=data.data,columns=data.feature_names) 

Step 3 数据信息简单查看

#利用.info()查看数据的整体信息
iris_features.info()

在这里插入图片描述

#进行简单的数据查看,我们可以利用.head()头部 .tail()尾部
iris_features.head()

在这里插入图片描述

iris_features.tail()

在这里插入图片描述

#其对应的类别标签,其中0,1分别代表'setosa','versicolor','virginica'三种不同花的类别
iris_target

在这里插入图片描述

#利用value_counts函数查看每个类别数量
pd.Series(iris_target).value_counts()

#对于特征进行一些统计描述
iris_features.describe()

在这里插入图片描述

Step 4 可视化描述

#合并标签和特征信息
#进行浅拷贝,防止对于原始数据的修改
iris_all=iris_features.copy()
iris_all['target']=iris_target

#特征与标签组合的散点可视化
sns.pairplot(data=iris_all,diag_kind='hist',hue='target')
plt.show()

在这里插入图片描述

for col in iris_features.columns:
    sns.boxplot(x='target',y=col,saturation=0.5,palette='pastel',data=iris_all)
    plt.title(col)
    plt.show()

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

#选取其前三个特征绘制三维散点图
from mpl_toolkits.mplot3d import Axes3D

fig=plt.figure(figsize=(10,8))
ax=fig.add_subplot(111,projection='3d')

iris_all_class0=iris_all[iris_all['target']==0].values
iris_all_class1=iris_all[iris_all['target']==1].values
iris_all_class2=iris_all[iris_all['target']==2].values
#'setosa'(0),'versicolor'(1),'virginica'(2)
ax.scatter(iris_all_class0[:,0],iris_all_class0[:,1],iris_all_class0[:,2],label='setosa')
ax.scatter(iris_all_class1[:,0],iris_all_class1[:,1],iris_all_class1[:,2],label='versicolor')
ax.scatter(iris_all_class2[:,0],iris_all_class2[:,1],iris_all_class2[:,2],label='virginica')
plt.legend()
plt.show()

在这里插入图片描述

Step 5 利用逻辑回归模型在二分类上进行训练和预测

#为了正确评估模型性能,将数据划分为训练集和测试集,并在训练集上训练模型,在测试集上验证模型性能
from sklearn.model_selection import train_test_split

#选择其类别为0和1的样本(不包括类别为2的样本)
iris_features_part=iris_features.iloc[:100]
iris_target_part=iris_target[:100]

#测试集大小为20%,80%/20%分
x_train,x_test,y_train,y_test=train_test_split(iris_features_part,iris_target_part,test_size=0.2,random_state=2020)
#从sklearn中导入逻辑回归模型
from sklearn.linear_model import LogisticRegression

#定义逻辑回归模型
clf=LogisticRegression(random_state=0,solver='lbfgs')

#在训练集上训练逻辑回归模型
clf.fit(x_train,y_train)

在这里插入图片描述

#查看其对应的w
print('the weight of Logistic Regression:',clf.coef_)
#查看其对应的w0
print('the intercept(w0) of Logistic Regression:',clf.intercept_)

在这里插入图片描述

#在训练集和测试集上分布利用训练好的模型进行预测
train_predict = clf.predict(x_train)
test_predict = clf.predict(x_test)
from sklearn import metrics
#利用accuracy(准确度)【预测正确的样本数目占总预测样本数目的比例】评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))
#查看混淆矩阵 (预测值和真实值的各类情况统计矩阵)
confusion_matrix_result = metrics.confusion_matrix(test_predict,y_test)
print('The confusion matrix result:\n',confusion_matrix_result)
#利用热力图对于结果进行可视化
plt.figure(figsize=(8, 6))
sns.heatmap(confusion_matrix_result, annot=True, cmap='Blues')
plt.xlabel('Predicted labels')
plt.ylabel('True labels')
plt.show()

在这里插入图片描述
在这里插入图片描述

Step 6 利用逻辑回归模型在三分类(多分类)上进行训练和预测

#测试集大小为20%, 80%/20%分
x_train, x_test, y_train, y_test = train_test_split(iris_features, iris_target, test_size = 
0.2, random_state = 2020)
#定义 逻辑回归模型 
clf = LogisticRegression(random_state=0, solver='lbfgs')
#在训练集上训练逻辑回归模型
clf.fit(x_train, y_train)

在这里插入图片描述

#查看其对应的w
print('the weight of Logistic Regression:\n',clf.coef_)
#查看其对应的w0
print('the intercept(w0) of Logistic Regression:\n',clf.intercept_)
#由于这个是3分类,所有我们这里得到了三个逻辑回归模型的参数,其三个逻辑回归组合起来即可实现三分类

在这里插入图片描述

#在训练集和测试集上分布利用训练好的模型进行预测
train_predict = clf.predict(x_train)
test_predict = clf.predict(x_test)
#由于逻辑回归模型是概率预测模型(前文介绍的 p = p(y=1|x,\theta)),所有我们可以利用 predict_proba 函数预测其概率
train_predict_proba = clf.predict_proba(x_train)
test_predict_proba = clf.predict_proba(x_test)
print('The test predict Probability of each class:\n',test_predict_proba)
#其中第一列代表预测为0类的概率,第二列代表预测为1类的概率,第三列代表预测为2类的概率。
#利用accuracy(准确度)【预测正确的样本数目占总预测样本数目的比例】评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))

在这里插入图片描述

#查看混淆矩阵
confusion_matrix_result = metrics.confusion_matrix(test_predict,y_test)
print('The confusion matrix result:\n',confusion_matrix_result)
#利用热力图对于结果进行可视化
plt.figure(figsize=(8, 6))
sns.heatmap(confusion_matrix_result, annot=True, cmap='Blues')
plt.xlabel('Predicted labels')
plt.ylabel('True labels')
plt.show()

在这里插入图片描述
在这里插入图片描述

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页