机器学习之路14

逻辑回归

逻辑回归应用于二分类问题，例如：

逻辑回归的原理 

输入

逻辑回归的输入就是一个线性回归的结果

激活函数 

sigmoid函数：

回归的结果输入到sigmoid函数当中

输出的结果是一个在[0,1]当中的概率值，阈值默认为0.5（即大于0.5为是，小于0.5为否）

 损失机器优化

在逻辑回归中，称之为对数拟然损失，公式如下：

那么我们如何理解这个式子呢？

 可以看到，当hg(x)==1时，损失函数的值为0，当hg(x)==0时，损失函数的值非常大。这满足损失函数的定义

 可以看到，当hg(x)==1时，损失函数的值为非常大，当hg(x)==0时，损失函数的值为0。这满足损失函数的定义

损失函数的公式：

具体实例计算：

逻辑回归的API 

逻辑回归分类的评估方法：

混淆矩阵

在分类任务下，预测结果与正确标记之间存在四种不同的组合，从而构成混淆矩阵。

精确率

预测结果为正例样本中真是为正例的比例，即 TP / TP+FP

召回率

真正为正例样本中预测结果为正例的比例（对正样本的区分能力）

即为 TP / TP + FN 

F1-SCORE,反应了模型的稳健性

 分类评估的API

但是这还有一个问题：

 ROC曲线与AUC指标 

TPR

FPR

ROC曲线

最终的AUC指标在[0.5,1]之间，并且越接近1越好。

AUC的API

总结：AUC只能用来评价二分类，AUC非常适合评价样本不平衡中的分类器性能。

用逻辑回归来预测癌细胞（代码实例）：

import pandas as pd

import numpy as np

# 1 读取数据
path = "https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data"
coulum_name = ["Sample code number","Clump Thickness","Uniform of Cell Size","Uniformity of Cell Shape","Manginel Adhesien","Single Epithelial Cell Size"
,"Bare Nuclei","Bland Chromation","Normal Nucieoli","Mitoses","Class"]
data = pd.read_csv(path,names=coulum_name)

# 2 缺失值处理
#替换为 ——>np.nan
data = data.replace(to_replace="?",value=np.nan)
#删除缺失样本
data.dropna(inplace = True)

data.isnull().any()  #说明缺失值已经完全删除

# 3 划分数据集
from sklearn.model_selection import train_test_split
#筛选特征值和目标值
data.head()
x = data.iloc[:, 1:-1]
y = data["Class"]

x_train,x_test,y_train,y_test = train_test_split(x, y)

# 4 特征工程--标准化
from sklearn.preprocessing import StandardScaler

transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

#5 逻辑回归预估器
from sklearn.linear_model import LogisticRegression

estimator = LogisticRegression()
estimator.fit(x_train,y_train)

#逻辑回归模型的回归系数和偏置
estimator.coef_

# 6 模型评估
 #方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n",y_predict)
print("直接比对真实值和预测值：\n",y_test == y_predict)
#方法2：计算准确率
score = estimator.score(x_test,y_test)
print("准确率为:\n",score)

 

#查看精确率，召回率，以及F1-score
from sklearn.metrics import classification_report

report = classification_report(y_test,y_predict,labels=[2,4],target_names=['良性','恶性'])

print(report)

# 因为 y_true:每个样本的真是类别，必须为0（反例），1（正例）标记
#将y_test转换成  0 1 
y_true = np.where(y_test > 3 , 1 , 0)

#导入AUC模块
from sklearn.metrics import roc_auc_score

roc_auc_score(y_true,y_predict)

 

模型的保存和加载

API: