python机器学习 | 逻辑回归介绍及实现

1 逻辑回归介绍

（1）定义：逻辑回归（Logistic Regression）是机器学习中的一种分类算法，虽然名字中带有回归，但是它只是与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。
（2）应用情景

• 广告点击率高低
• 是否为垃圾邮件
• 是否患病
• 是否金融诈骗
• 是否虚假账号

看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器

2 逻辑回归原理

理解逻辑回归的原理，其实需要掌握两点。

1. 逻辑回归中，其输入值是什么
2. 逻辑回归的输出是如何判断或者说是逻辑回归的结果预测

2.1 逻辑回归的输入

逻辑回归的输入是一个回归的结果，如图所示：

2.2 逻辑回归的结果预测

逻辑回归的预测是将线性回归的结果输入Sigmoid函数。具体来说，逻辑回归的预测函数为：

其中g(x)函数是Sigmoid函数，也就是

那么具体的判断流程就是：

1. 回归的结果输入到sigmoid函数当中
2. 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值，将任意的输入映射到了[0,1]区间。即，我们在线性回归中可以得到一个预测值,在将该值映射到Sigmoid函数中这样就完成了由值到概率的转换,也就是分类任务
   

总结：逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）
例如：现在有一个样本的输入到逻辑回归输出结果0.6，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

2.3 逻辑回归损失函数

之前的线性回归预测结果我们用均方误差衡量，那对于逻辑回归，我们预测的结果不对该怎么去衡量这个损失呢？也就是逻辑回归的损失函数（代价函数）形式是什么？

由于是分类，所以逻辑回归代价函数是分段函数：

为此，采用梯度下降求解逻辑回归：

2.4 逻辑回归预测结果评估

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

我们常用的评估指标有精确率、召回率，以及在F1-score

• 精确率：预测结果为正例样本中真实为正例的比例
  

• 召回率：真实为正例的样本中预测结果为正例的比例（查得全，对正样本的区分能力）
  

• F1-score：反映模型的稳健型
  

3 逻辑回归api介绍

3.1 逻辑回归预测api

sklearn.linear_model.LogisticRegression(solver='liblinear', penalty=‘l2’, C = 1.0)

1. solver可选参数:{‘liblinear’, ‘sag’, ‘saga’,‘newton-cg’, ‘lbfgs’}，

• 默认: ‘liblinear’；用于优化问题的算法。
• 对于小数据集来说，“liblinear”是个不错的选择，而“sag”和’saga’对于大型数据集会更快。
• 对于多类问题，只有’newton-cg’， ‘sag’， 'saga’和’lbfgs’可以处理多项损失;“liblinear”仅限于“one-versus-rest”分类。

2. penalty：正则化的种类
3. C：正则化力度

• 默认将类别数量少的当做正例

LogisticRegression方法相当于 SGDClassifier(loss=“log”, penalty=" "),SGDClassifier实现了一个普通的随机梯度下降学习。而使用LogisticRegression 实现了SAG

3.2 逻辑回归分类评估api

sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )

• y_true：真实目标值
• y_pred：估计器预测目标值
• labels:指定类别对应的数字
• target_names：目标类别名称
• return：每个类别精确率与召回率
  下面以一个实例介绍一下API的应用：

"""
案例：癌症分类预测-良／恶性乳腺癌肿瘤预测
原始数据的下载地址：https://archive.ics.uci.edu/ml/machine-learning-databases/
数据描述
（1）699条样本，共11列数据，第一列用语检索的id，后9列分别是与肿瘤相关的医学特征，最后一列表示肿瘤类型的数值。
（2）包含16个缺失值，用”?”标出。
（3）最后一列表示肿瘤类型的数值：2代表良性；4代表恶行性

实现步骤：
1.获取数据
2.基本数据处理
2.1 缺失值处理
2.2 确定特征值,目标值
2.3 分割数据
3.特征工程(标准化)
4.机器学习(逻辑回归)
5.模型评估
"""

from sklearn.linear_model import LogisticRegression
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import warnings
warnings.filterwarnings('ignore')

# 1.获取数据
names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
                   'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin',
                   'Normal Nucleoli', 'Mitoses', 'Class']

data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data', names=names)

# 数据处理
data = data.replace(to_replace="?", value=np.NaN)
data = data.dropna()

# 数据切分
x = data.iloc[:, 1:10]
y = data["Class"]

# 分割数据
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)

# 特征工程 标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test =transfer.fit_transform(x_test)

# 逻辑回归
es = LogisticRegression()
es.fit(x_train, y_train)

# 评估模型
print(es.predict(x_test))

from sklearn.metrics import classification_report

ret = classification_report(y_test, es.predict(x_test), labels=(2, 4), target_names=("良性", "恶性"))  # 分类评估
print(ret)