机器学习-9.逻辑回归

• 逻辑回归是将线性回归的结果通过sigmoid函数映射到0到1的区间内，而[0,1]对应百分比即概率，从而转化为分类问题
• 逻辑回归只能解决二分类问题。
• 公式：
  $$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
  $$g(z)=\frac{1}{1+e^{-z}}$$
• e为常数：2.71；默认0.5作为阀值；z为线性回归的结果
• g(z)为sigmoid函数。
  
• 逻辑回归的损失函数：
  
  
  
• 损失函数目前整理了两种：
  1. 均方误差：不存在局部最低点，只有一个最小值，通过梯度下降可以求出最低点。
  2. 对数似然损失：如下图所示存在多个局部最低点，通过梯度下降求出的结果有可能不是全局最低点。目前这种问题无法彻底解决，只能尽量改善优化：
     1）. 梯度下降求解时多次随机初始化，多次比较最小值结果取最小值。
     2）. 求解过程中，调整学习率。
     
• API：sklearn.linear_model.LogisticRegression
  
  penalty：正则化，C：正则化力度。
• 案例：良/恶性乳腺癌肿瘤预测
• 数据：https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data
• 数据介绍：https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.names
  
  由上图可以看出：
  

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
import pandas as pd
import numpy as np

def logistic():
    '''
    逻辑回归做二分类进行癌症肿瘤预测
    :return: None
    '''
    # 构造列标签名字，查看数据可以发现没有列标签名字
    column = ['Sample code number','Clump Thickness','Uniformity of Cell Size','Uniformity of Cell Shape','Marginal Adhesion','Single Epithelial Cell Size','Bare Nuclei','Bland Chromatin','Normal Nucleoli','Mitoses','Class']

    # 读取数据
    data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",names=column)

    # 确实值处理
    data = data.replace(to_replace="?",value=np.nan)
    data = data.dropna()

    # 数据分割
    x_train, x_test, y_train, y_test = train_test_split(data[column[1:10]], data[column[10]], test_size=0.25)

    # 标准化处理
    std = StandardScaler()
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)

    # 逻辑回归预测
    lg = LogisticRegression(C=1.0)
    lg.fit(x_train,y_train)
    y_predict = lg.predict(x_test)
    print(lg.coef_)
    print("准确率：", lg.score(x_test,y_test))
	# 因为本次是预测肿瘤，所以精确率意义不大，重点考察召回率
    print("分类预测指标报告：", classification_report(y_test, y_predict, labels=[2,4], target_names=["良性","恶性"]))
    return None


if __name__ == '__main__':
    logistic()

输出结果：

• 逻辑回归总结
  应用：广告点击率预测，是否患病，金融诈骗，是否为虚假帐号等二分类问题。
  优点：适合需要得到一个分类概率的场景，简单，速度快。
  缺点：不太好处理多分类问题（需要一个一个去确定，比较复杂）。
• 逻辑回归和朴素贝叶斯分类分析：
  1. 逻辑回归为二分类，朴素可多分类。
  2. 在应用场景上逻辑回归为二分类等需要得到概率的场景，朴素为文本分类。
  3. 逻辑回归有正则化力度等参数，朴素没有。
  4. 朴素贝叶斯需要先求出历史数据每个类别的概率（先验概率），逻辑回归不需要。
  5. 需要求先验概率的则为生成模型。否则为判别模型。
  6. 共性：两者在得出的结果上都有概率解释。
• 判别模型：k-近邻、决策树、随机森林、逻辑回归、神经网络
• 生成模型：朴素贝叶斯、隐马尔可夫模型