[机器学习] 逻辑回归

初识逻辑回归

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为
1(正例.另外的-一个类别会标记为0(方便损失计算)。—逻辑回归用于处理目标值只有两种情况

流程是先通过回归计算出预测值，然后通过一个激活函数把预测值映射到[0,1]内的一个固定值。
然后设定一个[0,1]的划分值，当预测值大于这个划分值时就是1，否则就是0.或者反之。

案例-肿瘤预测

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
names = ["Sample code number", "Clump Thickness", "Uniformity of Cell Size", "Uniformity of Cell Shape",\
         "Marginal Adhesion", "Single Epithelial Cell Size", "Bare Nuclei", "Bland Chromatin", \
         "Normal Nucleoli", "Mitoses", "Class"]
data = pd.read_csv("E:\\breast-cancer-wisconsin.data", names=names)
data.head()

data = data.replace(to_replace="?", value=np.nan)
data = data.dropna()

x = data.iloc[:, 1:-1]
x.head()
y = data["Class"]
y.head()

x_train, x_test, y_train, y_test = train_test_split(x, y,  random_state=22, test_size=0.2)
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.fit_transform(x_test)

estimator = LogisticRegression()
estimator.fit(x_train, y_train)

# 准确率
estimator.score(x_test, y_test)
# 预测值
estimator.predict(x_test)

分类评估方法

混淆矩阵

准确率：(TP+TN)/(TP+FN+FP+TN)
精确率：(TP)/(TP+FP)
召回率：(TP)/(TP+FN)

F1-score

from sklearn.metrics import classification_report
# 准确率
ret = estimator.score(x_test, y_test)
# 预测值
y_pre = estimator.predict(x_test)
# 精确率、召回率指标评价
ret = classification_report(y_test, y_pre, labels=(2,4), target_names=("良性", "恶性"))
print(ret)
             precision    recall  f1-score   support
         良性       0.99      0.99      0.99        89
         恶性       0.98      0.98      0.98        48
  avg / total       0.99      0.99      0.99       137

ROC曲线与AUC指标

TPR\FPR
TPR= TP/(TP + FN) 所有真实类别为1的样本中，预测类别为1的比例
FPR= FP/(FP + TN) 所有真实类别为0的样本中，预测类别为1的比例

ROC曲线的横轴就是FPRate，纵轴就是TPRate, 当二者相等时，表示的意义则是:对于不论真实类别
是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5

AUC指标
AUC的概率意义是随机取一对正负样本，正样本得分大于负样本得分的概率
AUC的范围在[0, 1]之间，并且越接近1越好，越接近0.5属于乱猜
AUC=1,完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。
0.5<AUC<1,优于随机猜测。这个分类器(模型)妥善设定阈值的话，能有预测价值。

from sklearn.metrics import classification_report, roc_auc_score
y_test = np.where(y_test>2, 1, 0)
roc_auc_score(y_test, y_pre)

注意AUC-score只适用于而分类问题

ROC曲线绘制

ROC曲线绘制步骤
构建模型，把模型的概率值从大到小排序
从概率最大的点开始取值，一直进行tpr和fpr的计算，构建整体曲线
求解积分(面积)

说明：构建的模型是一个序列，概率是预测出来的概率，结果是真实结果