机器学习之逻辑回归

前言：主要介绍逻辑回归的公式、损失函数、以及代码的实现。

---

1 逻辑回归

逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行分类。其中每一组数据都是由p 个指标构成。

2 逻辑回归公式

输出：[0, 1] 区间的概率值，默认0.5作为阀值
注：g(z)为sigmoid函数

3 损失函数

4 代码实现逻辑回归

预测癌症病理（数据来源：https://archive.ics.uci.edu/ml/machine-learning-databases /）
数据截图：

代码如下：

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
import pandas as pd
import numpy as np

def logistic():
    """
    逻辑回归做二分类进行癌症预测（根据细胞的属性特征）
    :return: NOne
    """
    column = ['示例代码号码',
              '块厚度',
              '细胞大小的一致性',
              '电池形状的均匀性',
              '边缘附着力',
              '单个上皮细胞大小',
              '裸核',
              '平淡的染色质',
              '正常核仁',
              '有丝分裂',
              '分类']



    # 读取数据
    data = pd.read_csv("breast-cancer-wisconsin.csv", names=column)
    # 缺失值进行处理
    data = data.replace(to_replace='?', value=np.nan)
    data = data.dropna()

    y = data['分类'] #目标值
    x = data[['块厚度', '细胞大小的一致性','电池形状的均匀性','边缘附着力','单个上皮细胞大小','裸核','平淡的染色质','正常核仁','有丝分裂']] #特征值
    # 进行数据的分割   x_train, x_test是特征值  y_train, y_test是目标值
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 进行标准化处理
    std = StandardScaler()
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)

    # 逻辑回归预测
    lg = LogisticRegression(C=1.0)
    lg.fit(x_train, y_train)
    print(lg.coef_)
    y_predict = lg.predict(x_test)
    for y1, y2 in zip(y_test, y_predict):
        if y1== y2:
            print("真实值：",y1,"-----","预测值：",y2,"----预测成功！")
        else:
            print("真实值：",y1,"-----","预测值：",y2,"----------------预测失败！")
    print("准确率：", lg.score(x_test, y_test))
    print("召回率：", classification_report(y_test, y_predict, labels=[2, 4], target_names=["良性", "恶性"]))


if __name__ == "__main__":
    logistic()