python之sklearn-分类算法-3.4 逻辑回归与二分类

最新推荐文章于 2024-08-22 17:19:50 发布
最新推荐文章于 2024-08-22 17:19:50 发布
阅读量6.5k 收藏 42
点赞数 7
分类专栏： sk-learn python常用工具库 算法 文章标签： 算法 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TFATS/article/details/108258446
版权

一，逻辑回归的应用场景

  • 广告点击率
  • 是否为垃圾邮件
  • 是否患病
  • 金融诈骗
  • 虚假账号

二，逻辑回归的原理

1，输入

逻辑回归的输入是线性回归的结果：
在这里插入图片描述

2，激活函数
1）sigmoid函数

在这里插入图片描述
在这里插入图片描述
回归的结果输入到sigmod函数当中

  • 输出结果：[0，1]区间中的一个概率值，默认为0.5的门限值
2）注意：

逻辑回归的最终分类是通过某个类别的概率来判断是否属于某个类别，并且这个类别默认标记为1（正例），另一个标记为0（反例）。默认目标值少的为正例。

3，损失函数
1）对数似然损失公式

逻辑回归的损失，称之为对数似然损失，公式如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2）综合完整损失函数如下：

在这里插入图片描述

3）理解对数似然损失示例如下：

在这里插入图片描述
如上可知，降低损失需要（正例减少sigmoid返回结果，反例增加sigmod返回结果）

4，优化方法

同样使用梯度下降优化算法，去减少损失函数的值，这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本为0类别的概率。

三，逻辑回归API

sklearn.linear_model.LogisticRegression(solver=‘liblinear’,penalty=‘i2’,c=1.0)

  • solver:优化求解方式(默认开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数)
    • sag:根据数据集自动选择，随机平局梯度下降
  • penalty:正则化种类
  • c：正则化力度

默认将类别数量少的当正例

四，案例：癌症分类预测

数据源：https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
def logisticregression():
    '''逻辑回归癌症预测'''
    # 确定数据columns数值
    columns = ["Sample code number","Clump Thickness","Uniformity of Cell Size","Uniformity of Cell Shape","Marginal Adhesion","Single Epithelial Cell Size","Bare Nuclei","Bland Chromatin","Normal Nucleoli","Mitoses","Class"]
    data = pd.read_csv("breast-cancer-wisconsin.data",names=columns)

    # 去掉缺失值
    data.replace(to_replace="?",value=np.nan,inplace=True)
    data.dropna(axis=0,inplace=True,how="any")

    # 提取目标值
    target = data["Class"]

    # 提取特征值
    data = data.drop(["Sample code number"],axis=1).iloc[:,:-1]

    # 切割训练集和测试集
    x_train,x_test,y_train,y_test = train_test_split(data,target,test_size=0.3)

    # 进行标准化
    std = StandardScaler()
    x_train = std.fit_transform(x_train)
    x_test = std.fit_transform(x_test)

    # 逻辑回归进行训练和预测
    lr = LogisticRegression()
    lr.fit(x_train,y_train)

    print("逻辑回归权重：",lr.coef_)
    print("逻辑回归偏置：",lr.intercept_)

    # 逻辑回归测试集预测结果
    pre_result = lr.predict(x_test)
    print(pre_result)
    # 逻辑回归预测准确率
    sore = lr.score(x_test,y_test)
    print(sore)
if __name__ == '__main__':
    logisticregression()

五，二分类的评估方法–(精确率(Precision)与召回率(Recall))

1，精确率：

预测结果为正例样本中真是为整理的比例（查的准）
在这里插入图片描述

2，召回率：

真是为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）
在这里插入图片描述

3，F1-score

反应了模型的稳健型
在这里插入图片描述

4，模型评估API

sklearn.metrics.classification_report(y_true,y_pred,target_names=None)

  • y_true: 真实目标值
  • y_pred: 估计器预测目标值
  • target_names: 目标类名称
  • return: 每个类别精准率与召回率
5，代码
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report

def logisticregression():
    '''逻辑回归癌症预测'''
    # 确定数据columns数值
    columns = ["Sample code number","Clump Thickness","Uniformity of Cell Size","Uniformity of Cell Shape","Marginal Adhesion","Single Epithelial Cell Size","Bare Nuclei","Bland Chromatin","Normal Nucleoli","Mitoses","Class"]
    data = pd.read_csv("breast-cancer-wisconsin.data",names=columns)

    # 去掉缺失值
    data.replace(to_replace="?",value=np.nan,inplace=True)
    data.dropna(axis=0,inplace=True,how="any")

    # 提取目标值
    target = data["Class"]

    # 提取特征值
    data = data.drop(["Sample code number"],axis=1).iloc[:,:-1]

    # 切割训练集和测试集
    x_train,x_test,y_train,y_test = train_test_split(data,target,test_size=0.3)

    # 进行标准化
    std = StandardScaler()
    x_train = std.fit_transform(x_train)
    x_test = std.fit_transform(x_test)

    # 逻辑回归进行训练和预测
    lr = LogisticRegression()
    lr.fit(x_train,y_train)

    # 得到训练集返回数据
    # print("逻辑回归权重：",lr.coef_)
    # print("逻辑回归偏置：",lr.intercept_)

    # 逻辑回归测试集预测结果
    pre_result = lr.predict(x_test)
    # print(pre_result)

    # 逻辑回归预测准确率
    sore = lr.score(x_test,y_test)
    print(sore)

    # 精确率(Precision)与召回率(Recall)
    report = classification_report(y_test,pre_result,target_names=["良性","恶性"])
    print(report)

if __name__ == '__main__':
    logisticregression()

六，ROC曲线与AUC指标

问题：如何衡量样本不均衡下的评估？

1，ROC曲线与FPR
  • TPR = TP / (TP + FN)
    • 所有真实类别为1的样本中，预测类别为1的比例
  • FPR = FP / (TP + FN)
    • 所有真实类别为0的样本中，预测类别为1的比例
2，ROC曲线

ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别时1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5 。
在这里插入图片描述

3，AUC指标
  • AUC的概率意义时随机取一对正负样本，正样本得分大于负样本的概率。
  • AUC的最小值为0.5，最大值为1，取值越高越好。
  • AUC=1,完美分类器，采用这个预测模型时，不管设定什么门限值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
  • 0.5<AUC<1,优于随机猜测. 这个分类器(模型)妥善设定限制的话,能有预测价值。
  • AUC=0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
  • AUC<0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测，因此不存在AIC<0.5的情况

最终AUC的范围在[0.5，1],并且越接近1越好。

4，AUC计算API

from sklearn.metrics import roc_auc_score

  • sklearn.metrics.roc_auc_score(y_true,y_score)
    • 计算ROC曲线面积，即AUC值
    • y_true：每个样本的真是类别，必须为0（反例），1（正例）标记
    • y_score：每个样本预测的概率值
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report,roc_auc_score

def logisticregression():
    '''逻辑回归癌症预测'''
    # 确定数据columns数值
    columns = ["Sample code number","Clump Thickness","Uniformity of Cell Size","Uniformity of Cell Shape","Marginal Adhesion","Single Epithelial Cell Size","Bare Nuclei","Bland Chromatin","Normal Nucleoli","Mitoses","Class"]
    data = pd.read_csv("breast-cancer-wisconsin.data",names=columns)

    # 去掉缺失值
    data.replace(to_replace="?",value=np.nan,inplace=True)
    data.dropna(axis=0,inplace=True,how="any")

    # 提取目标值
    target = data["Class"]

    # 提取特征值
    data = data.drop(["Sample code number"],axis=1).iloc[:,:-1]

    # 切割训练集和测试集
    x_train,x_test,y_train,y_test = train_test_split(data,target,test_size=0.3)

    # 进行标准化
    std = StandardScaler()
    x_train = std.fit_transform(x_train)
    x_test = std.fit_transform(x_test)

    # 逻辑回归进行训练和预测
    lr = LogisticRegression()
    lr.fit(x_train,y_train)

    # 得到训练集返回数据
    # print("逻辑回归权重：",lr.coef_)
    # print("逻辑回归偏置：",lr.intercept_)

    # 逻辑回归测试集预测结果
    pre_result = lr.predict(x_test)
    # print(pre_result)

    # 逻辑回归预测准确率
    sore = lr.score(x_test,y_test)
    print(sore)

    # 精确率(Precision)与召回率(Recall)
    report = classification_report(y_test,pre_result,target_names=["良性","恶性"])
    print(report)

    # 查看AUC指标
    y_test = np.where(y_test>2.5,1,0)
    print(y_test)
    auc_score = roc_auc_score(y_test,pre_result)
    print(auc_score)
    
if __name__ == '__main__':
    logisticregression()
5，总结
  • AUC只能用来评价二分类
  • AUC非常适合评价样本不平衡中的分类器性能
  • AUC会比较预测出来的概率，而不仅仅是标签类
  • AUC指标大于0.7，一般都是比较好的分类器

七，Scikit-learn的算法实现总结

  • scikit-learn把梯度下降求解的单独分开，叫SGDclassifier和SGDRegressor，他们的损失都是分类和回归对应的损失，比如分类：有log loss, 和 hingle loss(SVM)的，回归如：比如 均方误差, 其它的API是一样的损失，求解并不是用梯度下降的，所以一般大规模的数据都是用scikit-learn其中SGD的方式求解。
TFATS
关注
专栏目录
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
杨秀璋的专栏
07-03 4万+
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。
Python实现逻辑回归(Logistic Regression)
CSDN 精品推荐
03-26 3万+
逻辑回归是一种经典机器学习分类算法，它被广泛应用于二元分类问题中，该算法的目的是预测二元输出变量（比如0和1），逻辑回归算法有很多应用，比如预测股票市场、客户购买行为、疾病诊断等等。它被广泛应用于医学、金融、社交网络、搜索引擎等各个领域。
贝叶斯算法
csbq_xm的博客
03-18 248
创建朴素贝叶斯分类器。# 划分训练集和测试集。# 1.莺尾花数据集。# 加载鸢尾花数据集。
纯python3.5代码实现逻辑回归的二分类（附数据）
01-19
纯python代码实现逻辑回归，不调机器学习第三方库，仅调用numpy实现矩阵向量计算和matplotlib实现画图
机器学习逻辑回归算法——原理+python详细代码解析（sklearn）
最新发布
cnzzs的博客
08-22 1046
完整代码# 二元Logistic回归算法 # 数据准备 # 1 载入分析所需要的模块和函数 import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from warnings import ...
分类问题的时候用交叉熵损失函数会更有效
口袋里的小小哥的博客
04-09 397
# 分类问题的时候用交叉熵损失函数会更有效 # binary_crossentropy 来计算二元交叉熵 import tensorflow as tf import numpy as np import pandas as pd import matplotlib.pyplot as plt data = pd.read_csv('credit-a.csv', header=None) # ...
逻辑回归二分类算法python_监督学习——logistic进行二分类（python）
weixin_39976153的博客
11-29 1256
线性回归及sgd/bgd的介绍：训练数据形式： （第一列代表x1，第二列代表 x2，第三列代表 数据标签 用 0/1表示）训练函数形式： y = sigmod（w0+w1*x1+w2*x2）通过训练函数就能够得到参数列向量θ([θ0,θ1,…θn]^T)，当输入样本列向量x([x0,x1,…,xn])，那么我们对样本x分类就可以通过上述公式计算出一个概率，如...
逻辑斯蒂回归（二分类算法）理论+Python代码实现
qq_46426207的博客
03-11 6133
对逻辑斯蒂算法原理进行剖析并结合鸢尾花数据集和马疝病数据集进行Python实现，其中鸢尾花数据集采用sklearn库中的逻辑回归模型进行训练和评估，马疝病数据集采用机器学习实战中的函数方法从零实现。
基于sklearn的LogisticRegression二分类实践
Michael是个半路程序员
02-12 7276
本文使用sklearn的逻辑斯谛回归模型，进行二分类预测，并通过调整各种参数，对预测结果进行对比。
python sklearn逻辑回归 sgd和lr_python之sklearn-分类算法-3.4 逻辑回归与二分类
weixin_39856208的博客
12-20 471
一，逻辑回归的应用场景广告点击率是否为垃圾邮件是否患病金融诈骗虚假账号二，逻辑回归的原理1，输入逻辑回归的输入是线性回归的结果：2，激活函数1)sigmoid函数回归的结果输入到sigmod函数当中输出结果：[0，1]区间中的一个概率值，默认为0.5的门限值2)注意：逻辑回归的最终分类是通过某个类别的概率来判断是否属于某个类别，并且这个类别默认标记为1(正例)，另一个标记为0(反例)。默认目标值少...
机器学习sklearn-逻辑回归&评分卡案例
weixin_44376037的博客
01-05 3284
Sigmoid函数的公式和性质 Sigmoid函数是一个S型的函数，当自变量z趋近正无穷时，因变量g(z)趋近于1，而当z趋近负无穷时，g(z)趋近于0，它能够将任何实数映射到(0,1)区间，使其可用于将任意值函数转换为更适合二分类的函数。因为这个性质，Sigmoid函数也被当作是归一化的一种方法，与我们之前学过的MinMaxSclaer同理，是属于数据预处理中的“缩放”功能，可以将数据压缩到[0,1]之内。区别在于，MinMaxScaler归一化之后，是可以取到0和1的（最大值归一化后就是1，最小值归一
python sklearn 逻辑回归分类
廷益_飞鸟的博客
08-08 1639
""" 解决分类问题: 使用逻辑回归的方式 """ import numpy as np import matplotlib.pyplot as mp import sklearn.linear_model as lm # 1.准备数据 x = np.array([ [3, 1], [2, 5], [1, 8], [6, 4], [5, 2], [3, 5], [4, 7], [4, -1]]) y = np.array([0
python sklearn实现机器学习分类算法
qq_28479619的博客
11-17 218
K-Nearest Neighbors (KNN) 是一种基本的分类和回归方法。在分类任务中，KNN 根据输入特征的 k 个最近邻居的类别来预测输入的类别。而在回归任务中，KNN 则根据输入特征的 k 个最近邻居的实数值来预测输入的实数值。在训练过程中，KNN 并不需要明确的训练阶段和预测阶段的划分，而是在输入数据时进行即时预测。KNN 具有简单、直观和易于实现的特点，并且在一些简单的分类和回归问题上表现良好。但是，对于复杂的模式识别问题，KNN 可能需要较大的计算资源和时间来找到足够的最近邻居。12。
Python机器学习库sklearn几种分类算法建模可视化(实验)
热门推荐
公众号：瑞行AI
11-14 3万+
sklearn官网API查询http://scikit-learn.org/stable/modules/classes.htmlscikit-learn中自带了一些数据集，比如说最著名的Iris数据集。 数据集中第3列和第4列数据表示花瓣的长度和宽度，类别标签列已经转成了数字，比如0=Iris-Setosa, 1=Iris-Versicolor, 2=Iris-Virginica.
逻辑回归二分类算法python_Python 机器学习算法二之逻辑回归的推导及实战
weixin_39796238的博客
11-29 316
在线性回归模型中，我们实际上是建立了一个模型来拟合自变量和因变量之间的线性关系，但是在某些时候，我们要做的可能是一个分类模型，那么这里就可能用到线性回归模型的变种——逻辑回归，本节我们就逻辑回归来做一个详细的说明。实例引入我们还是以上一节的例子为例，张三、李四、王五、赵六都要贷款了，贷款时银行调查了他们的月薪和住房面积等因素，两个因素决定了贷款款项是否可以立即到账，下面列出来了他们四个人的工资情况...
Logistic回归——二分类 —— matlab
PY洋洋
03-25 1万+
1.简介 2.应用范围 3.分类 3.应用条件 4.原理详解 4.1sigmod分类函数 4.2 建立目标函数 4.3 求解相关参数 5.实列分析 5.1 读取数据（excel文件） 5.2 分离数据集 5.3 求解前设定 5.4 求解目标函数 5.5 预测 5.6 预测分类 5.7 准确率 6.matlab自带函数
逻辑回归二分类算法python_Logistic回归分类算法详解
weixin_39928003的博客
11-29 351
本节教程我们来讨论另外一种被广泛应用的分类算法— Logistic 回归。在讲解这个概念之前，我们先来聊一个题外话—“Logistic regression”的中文译法。“regression”译作“回归”，并没有什么异议，而“Logistic”的翻译可谓五花八门。有译作“逻辑斯谛”的，这种音译中规中矩，自然不能算错，但不够形象。更多文献直接将其译作“逻辑”，这种译法可能就有点误导大家了。“逻辑”...
python之sklearn-分类算法-3.1 线性回归
TFATS的博客
08-26 1636
一，线性回归的原理 1，线性回归应用场景 房价预测 销售额度预测 金融：贷款额度预测、利用线性回归以及系数分析因子和选股 2，什么是线性回归 1）定义与公式 线性回归(Linear regression)是利用 回归方程(函数) 对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 只有一个自变量的情况称为单变量回归，大于一个自变量情况的叫做多元回归 w为权重、b称为偏置项、x为特征 2） 举例说明 期末成绩：0.7×考试成绩+0.3×平时成绩 房子价格 = 0.0
机器学习笔记-基于逻辑回归的分类预测
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-01 762
逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低；缺点：容易欠拟合，分类精度可能不高。
Sklearn工具包及模型评估
hqs2212586的专栏
09-11 1928
一、Sklearn工具包介绍 　　scikit-learn，又写作sklearn，是一个开源的基于python语言的机器学习工具包。它通过NumPy, SciPy和Matplotlib等python数值计算的库实现高效的算法应用，并且涵盖了几乎所有主流机器学习算法。 　　官网：https://scikit-learn.org/stable/index.html 1、常用模块 　　Skle...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值