5.逻辑回归_estmator-CSDN博客

本文链接：https://blog.csdn.net/weixin_50973728/article/details/122908982

本文深入介绍了逻辑回归的基本原理、输入输出以及激活函数。通过肿瘤预测案例展示了数据预处理、模型训练和评估的过程，包括准确率、召回率、F1-score和混淆矩阵。此外，还探讨了ROC曲线、AUC指标以及如何应对类别不平衡问题，如过采样和欠采样方法。

摘要由CSDN通过智能技术生成

什么是逻辑回归

在这里插入图片描述

应用场景

在这里插入图片描述

逻辑回归的原理

掌握逻辑回归，必须掌握以下两点

逻辑回归中，其输入值是什么
如何判断逻辑回归的输出

输入

在这里插入图片描述

激活函数

在这里插入图片描述

衡量损失

在这里插入图片描述

损失

在这里插入图片描述

优化

在这里插入图片描述

API

在这里插入图片描述

肿瘤预测案例

数据介绍

在这里插入图片描述

代码实现

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# 获取数据
names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape','Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin','Normal Nucleoli', 'Mitoses', 'Class']
data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",names=names)
data.head()

在这里插入图片描述

# 数据基本处理
# 缺失值处理
data = data.replace(to_replace="?",value=np.nan)
data = data.dropna()
# 确定特征值，目标值
x = data.iloc[:,1:-1]
y = data["Class"]
# 分割数据
x_train,x_test,y_train,y_test = train_test_split(x,y,random_state=22,test_size=0.2)
# 特征工程 标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 机器学习
estmator = LogisticRegression()
estmator.fit(x_train,y_train)
# 模型评估
print("准确率:\n",estmator.score(x_test,y_test))
print("预测值:\n",estmator.predict(x_test))

在这里插入图片描述

分类评估方法

准确率与召回率

混淆矩阵

在这里插入图片描述
我们之前使用的准确率公式为：（TP+TN）/(TP+Fn+FP+TN)

精确率(Precision)与召回率(Recall)

在这里插入图片描述
精确率：(TP)/(TP+FP)

召回率：(TP)/(TP+FN)

F1-score

在这里插入图片描述

分类评估报告api

在这里插入图片描述

from sklearn.metrics import classification_report
y_pre = estmator.predict(x_test)
ret = classification_report(y_test,y_pre,labels=(2,4),target_names=("良性","恶性"))
print(ret)

在这里插入图片描述

ROC曲线与AUC指标

TPR与FPR

在这里插入图片描述

ROC曲线

在这里插入图片描述

AUC指标

在这里插入图片描述

AUC计算API

在这里插入图片描述

from sklearn.metrics import roc_auc_score
y_test = np.where(y_test>3,1,0)
roc_auc_score(y_test,y_pre)

在这里插入图片描述

解决类别不平衡问题

pip3 install imbalanced-learn

准备类别不平衡数据

from sklearn.datasets import make_classification
import matplotlib.pylab as plt
from collections import Counter

X,Y = make_classification(n_samples=5000,
                          n_features=2, # 特征个数= n_informative（）+ n_redundant（）+ n_repeated（）
                          n_informative=2,# 多信息特征的个数
                          n_redundant=0,# 冗余信息，informative特征的随机线性组合
                          n_repeated=0,# 重复信息，随机提取n_informative和n_redundant特征
                          n_classes=3,# 分类类别
                          n_clusters_per_class=1,# 某一个类别是由几个cluster构成的
                          weights=[0.01,0.05,0.94],# 列表类型，权重比
                          random_state=0)

X,Y,X.shape

在这里插入图片描述

Counter(y)

在这里插入图片描述

# 数据可视化
plt.scatter(X[:,0],X[:,1],c=Y)
plt.show()

在这里插入图片描述

解决办法

在这里插入图片描述

过采样方法

在这里插入图片描述

随机过采样方法

在这里插入图片描述

from imblearn.over_sampling import RandomOverSampler
ros = RandomOverSampler(random_state=0)
X_resampled,Y_resampled = ros.fit_resample(X,Y)
Counter(Y_resampled)

在这里插入图片描述

# 数据可视化
plt.scatter(X_resampled[:,0],X_resampled[:,1],c=Y_resampled)
plt.show()

在这里插入图片描述

过采样代表性算法-SMOTE

在这里插入图片描述

from imblearn.over_sampling import SMOTE

X_resampled,Y_resampled = SMOTE().fit_resample(X,Y)
Counter(Y_resampled)

在这里插入图片描述

# 数据可视化
plt.scatter(X_resampled[:,0],X_resampled[:,1],c=Y_resampled)
plt.show()

在这里插入图片描述

欠采样方法

在这里插入图片描述

随机欠采样方法

在这里插入图片描述

from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler(random_state=0)
X_resampled,Y_resampled = rus.fit_resample(X,Y)
Counter(Y_resampled)

在这里插入图片描述

# 数据可视化
plt.scatter(X_resampled[:,0],X_resampled[:,1],c=Y_resampled)
plt.show()

在这里插入图片描述