机器学习算法-逻辑回归

最新推荐文章于 2024-07-01 22:01:12 发布
最新推荐文章于 2024-07-01 22:01:12 发布
阅读量979 收藏 8
点赞数 14
文章标签： 机器学习 算法 逻辑回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oracle88888888/article/details/137171013
版权

机器学习算法-逻辑回归

1.K-近邻算法

（略）

2.线性回归

（略）

3.逻辑回归

3.1逻辑回归介绍

逻辑回归（Logistic Regression)是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的练习。由于算法的简单和高效，在实际中应用非常广泛。

1、逻辑回归的应用场景

  • 广告点击率

  • 是否为垃圾邮件

  • 是否患病

  • 金融诈骗

  • 虚假账号

2 逻辑回归的原理

2.1输入

$$
h(w)=w_1x_1+w_2x_2+w_3x_3...+b
$$

逻辑回归的输入就是一个线性回归的结果

2.2 激活函数

  • sigmoid函数

$$
g(w^T,x)=\frac{1}{1+e^{-h(w)}}=\frac{1}{1+e^{-w^Tx}}
$$

  • 判断标准

    • 回归的结果输入到sigmoid函数当中

    • 输出结果：[0,1]间的一个概率值，默认为0.5为阈值

3 损失以及优化
3.1损失

逻辑回归的损失，称之为对数似然损失，公式如下：

  • 分开类别

$$
cost(h_\theta(x),y)=\begin{cases} -log(h_\theta(x)) &if&y=1\\ -log(1-h_\theta(x)) &if&y=0\\ \end{cases}\\ 其中y为真实值，h_\theta(x)为预测值
$$

综合完整损失函数：

$$
cost(h_\theta(x),y)=\sum_{i=1}^{m}-y_ilog(h_\theta(x))-(1-y_i)log(1-h_\theta(x))
$$

3.2优化

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。

4.小结
3.2逻辑回归api介绍

  • sklearn.linear_model.LogisticRegression(solve='liblinear',penalty='l2',C=1.0)

    • solver可选参数：{'liblinear','sag','saga','newton-cg','libfgs'},

      • 默认：'liblinear';用于优化问题的算啊。

      • 对于小数据集来说，“liblinear"是个不错的选择，而“sag"和"saga"对于大型数据集会更快。

      • 对于多类问题，只有“newton-cg","sag","saga"和"lbfgs"可以处理多项损失，"liblinear"仅限于"one-versus-rest"分类。

    • penalty:正则化的种类

    • C:正则化力度

    LogisticRegression方法相当于SGDClassifier(loss="log",penalty=""),SGDClassifier实现了一个普通的随即梯度下降学习，而使用LogisticRegression(是实现了SAG)

3.3案例：癌症分类预测-良/恶性乳腺癌肿瘤预测
1背景介绍
2案例分析
1.获取数据
2.基本数据处理
2.1缺失值处理
2.2确定特征值，目标值
2.3分割数据
3.特征工程（标准化）
4.机器学习（逻辑回归）
5.模型评估
3代码实现
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
import ssl
​
from sklearn.utils import column_or_1d
​
ssl._create_default_https_context = ssl._create_unverified_context
​
names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
         'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin', 'Normal Nucleoli',
         'Mitoses', 'Class']
# 数据加标题
data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",names = names)
# data = pd.read_csv("D:\\AI\\ML\\data\\breast+cancer+wisconsin+original\\breast-cancer-wisconsin.data2", names = names)
# data = pd.read_csv("D:\\AI\\ML\\data\\breast+cancer+wisconsin+original\\breast-cancer-wisconsin.data2")
​
# 2基本数据处理
# 2.1 缺失数据值处理
data = data.replace(to_replace="?", value=np.nan)
data=data.dropna()
# print(data.head())
# print(data.shape)
# 获取第2列到倒数第2列的值
x = data.iloc[:, 1:10]
# print(x.head())
# print(x.shape)
​
# 实际值在最后一列
y = data["Class"]
# y = data.iloc[:, 10:11]
# print(y.head())
# print(y.shape)
​
​
​
# print(y.head)
# 2.3分割数据
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22, test_size=0.25)
​
# 3特征工程（标准化)
# x_train 标准化后反而不行了，y_train不能标准化
transfer = StandardScaler()
# x_train = transfer.fit_transform(x_train)
# y_train=y_train.ravel()
# np.array(y_train).reshape(1,-1)[0]
​
# y_train = transfer.fit_transform(y_train)
# y = column_or_1d(y_train, warn=True)
# y_train = ravel()
# print(y)
​
# 4机器学习（逻辑回归）
estimator = LogisticRegression()
estimator.fit(x_train, y_train)
​
# 5模型评估
# 5.1准确率
ret = estimator.score(x_test, y_test)
print("准确率为：\n", ret)
​
# 5.2预测值
y_pre = estimator.predict(x_test)
print("预测值为：\n", y_pre)
​

3.4分类评估方法
1.分类评估方法
1.1 精确率与召回率

1.1.1 混肴矩阵

在分类任务下，预测结果（Predicted Condition)与正确标记（True Condition)之间存在四种不同的组合，构成了混肴矩阵（适用于多分类）

预测结果预测结果
正例假例
真实结果正例真正例TP伪反例FN
真实结果假例伪正例FP真反例TN

T-True

F-False

P-positive

N-negative

准确率：（TP+TN）/(TP+FN+FP+TN)

1.1.2 精确率（Precision)与召回率（Recall)

  • 精确率：预测结果为正例样本中真实为正例的比例

    • (TP）/(TP+FP)

  • 召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）

    • (TP)/(TP+FN)

code

#精确率、召回率指标评估
from sklearn.metrics import classification_report
ret= classification_report(y_test,y_pre,labels=(2,4),target_names=("良性","恶性"))
print(ret)
​
              precision    recall  f1-score   support
​
          良性       0.98      0.98      0.98       111
          恶性       0.97      0.97      0.97        60
​
    accuracy                           0.98       171
   macro avg       0.97      0.97      0.97       171
weighted avg       0.98      0.98      0.98       171

样本不均衡下如何评估

2 ROC曲线与AUC指标
2.1TPR与FPR

  • TPR=TP/（TP+FN）

    • 所有真实类别为1的样本中，预测类别为1的比例

  • FPR=FP/(FP+TN)

    • 所有真实类别为0的样本中，预测类别为1的比例

2.2 ROC曲线

2.3 AUC指标

  • AUC的概率意义是随即取一对正负样本，正样本得分大于负样本得分的概率

2.4 AUC计算API

  • from sklearn.metrics import roc_auc_score

    • sklearn.metrics.roc_auc_score(y_true,y_score)

      • 计算ROC曲线面积，即AUC值

      • y_true:每个样本的真是类别，必须为0（反例），1(正例)标记

      • y_score:预测得分，可以是正例的估计概率、置信或者分类器的返回值

code

#5.4 auc指标计算
#0.5~1 之间，越接近于1越好
y_test = np.where(y_test>2.5,1,0)
​
print("AUC指标",roc_auc_score(y_test,y_pre))
​
#AUC指标 0.9743243243243243
​

  • AUC只能评价二分类

  • AUC非常适合评价不均衡中的分类器性能

3.5 ROC曲线的绘制

AUC -- Area Under roc Curve，就是ROC曲线的积分，也是ROC曲线下面的面积。

4、数据不平衡数据生成和绘制

代码：

from sklearn.datasets import make_classification
import matplotlib.pyplot as plt
from collections import Counter
​
#准备类别不均衡数据
X,y = make_classification(n_samples=5000,n_features=2,
                         n_informative=2,n_redundant=0,
                         n_repeated=0,n_classes=3,
                         n_clusters_per_class=1,
                         weights=[0.01,0.05,0.94],random_state=0)
print(Counter(y))
plt.scatter(X[:,0],X[:,1],c=y)
plt.show()

5、分类中解决不平衡问题

5.1 过采用方法
5.1.1 什么是过采样方法

对训练集里的少数类进行”过采样“（oversampling),即增加一些少数样本使得正、反例树木接近，然后再进行学习。

5.1.2 随机过采样方法

随机过采样是再少数类Smin中随机选择一些样本，然后通过复制所选择的样本集E，将他们添加到Smin中扩大原始数据据集从而得到新的少数类集合Snew-min。 新的数据集Snew-min=Sim+E。

  • 通过代码实现随机过采用方法：

#使用imblearn进行随机采用
from imblearn.over_sampling import RandomOverSampler
ros=RandomOverSampler(random_state=0)
X_resampled,y_resampled=ros.fit_resample(X,y)
​
#查看结果
print(Counter(y_resampled))
​
#过采样后样本结果
# Counter({2: 4674, 1: 262, 0: 64})
# Counter({2: 4674, 1: 4674, 0: 4674})
​
#数据集可视化
plt.scatter(X_resampled[:,0],X_resampled[:,1],c=y_resampled)
plt.show()
​
Larkin88
关注
  • 14
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习算法——逻辑回归
zhaoqqa的博客
08-21 508
原理: 逻辑回归处理的是分类问题，具体来说，是处理二分类问题。为了实现逻辑回归分类器，我们可以在线性回归的基础上。添加一个sigmoid函数，进而得到一个范围在0~1之间的数值。任何大于0.5的数据会被分为1类，小于0.5即被分为0类。至于为什么会用到sigmoid函数，简单来说，是为了将标签归类为[0,1]的范围内；深层原因，sigmoid函数的使用是由指数分布族决定的。 预测值为： ...
机器学习算法基础-逻辑回归
09-16
在压缩包文件“机器学习算法基础--逻辑回归”中，可能包含了关于逻辑回归的理论讲解、代码实现、实例分析等内容。通过学习这些材料，你可以更深入地理解逻辑回归的工作机制，掌握如何在Python等编程语言中使用Scikit...
【机器学习算法笔记系列】逻辑回归(LR)算法详解和实战
Mr_Robert的博客
03-29 7580
逻辑回归(LR)算法概述 逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。 逻辑回归算法原理 预测函数和决策边界 逻辑回归的预测函数可以表示为： 举一个例子，假设我们有许多样本，并在图中表示出来了，并且假设我们已经通过某种方法求出了LR模型的参数（如下图）： 这时，直线上方所...
逻辑回归算法深入浅出
最新发布
绎岚科技的博客
07-01 1199
逻辑回归是一个有监督机器学习算法用于分类任务其中目标是预测实例是否属于给定类的概率。逻辑回归是一种分析两个数据因素之间关系的统计算法。
机器学习-逻辑回归算法
qq_63974399的博客
08-12 430
机器学习-逻辑回归算法
机器学习逻辑回归算法
jiede1的博客
09-08 945
本文内容资源来自 Andrew Ng 在 Coursera上的 Machine Learning 课程，在此向 Andrew Ng 致敬。 斯坦福大学机器学习第六课”逻辑回归“学习笔记，本次课程主要包括7部分： 1) Classification(分类) 2) Hypothesis Representation（建模） 3) Decision boundary(决策边界) 4) Cost f
机器学习之逻辑回归算法
自成背后的博客
02-24 2224
文章目录逻辑回归原理推导逻辑回归求解 逻辑回归（Logistic Regression）是机器学习中的一种分类模型，它是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。 看到回归二字，很多人可能会认为逻辑回归算法是线性回归算法的升级，还是属于回归任务吧？其实并不是这样的，逻辑回归本质上是一个经典的二分类问题，要做的任务性质发生了变化，也就是一个是否或者说0/1问题，有了线性回归的基础，只需稍作改变，就能完成分类任务。 由于逻辑回归算法的简单和高效，在实际中应用非常广泛，比如判断是否为垃圾邮件
机器学习算法之逻辑回归
m0_52004821的博客
11-01 434
逻辑回归学习笔记
《机器学习》算法实例-逻辑回归算法-梯度上升算法
02-25
《机器学习》算法实例——逻辑回归与梯度上升算法 逻辑回归（Logistic Regression）是机器学习中一种广泛应用的分类算法。它虽然名字中含有“回归”，但实际上是一种分类方法，尤其适用于处理二分类问题。在本实例...
机器学习算法-基于机器学习回归算法实现过拟合.zip
05-12
在这个“机器学习算法-基于机器学习回归算法实现过拟合”的主题中，我们将深入探讨回归算法以及如何处理过拟合现象。 回归算法主要包括线性回归、逻辑回归、多项式回归、支持向量回归（SVR）、决策树回归、随机森林...
机器学习预测天气-逻辑回归-线性回归
07-05
逻辑回归虽然名字中带有“回归”二字，但实际上它是一种分类算法，而非传统的线性回归。在预测天气时，逻辑回归可以用于处理二元问题，如预测明天是否会下雨。通过构建一个连续的实值输出，然后通过sigmoid函数将其...
机器学习算法 之 逻辑回归算法
张之海的博客
03-20 1851
本文内容主要转自两处： [1] 逻辑回归从入门到深入（logistic regression) 本文内容从Python 逻辑回归实际使用的角度出发，较为通俗易懂，感谢其作者的分享。 [2] 《百面机器学习》之逻辑回归 注意，下面有核心公式（1）、核心公式（2），笔者认为，理解了这两个公式，也就掌握逻辑回归的基本思想了。 其中（1）是逻辑回归函数（又称为对数几率函数），输出结果是预测X为正例的最大概...
tensorflow sigmoid 如何计算训练数据的正确率_逻辑回归算法！数据产品经理必看...
weixin_39932181的博客
11-22 627
单纯理解算法还算容易，但是到实际工作中就往往理不清头绪，特征变量从哪来，又怎么选，模型的输出结果是什么，如何评价模型好坏，有了模型如何应用，模型上线之后还要做什么等等一系列问题。今天我们就以常用的逻辑回归为例，结合实际场景说说如何应用结果问题的过程。对于数据产品经理、数据建模师、数据挖掘工程师、数据分析师来说，都必须了解全部流程。算法描述逻辑回归(Logistic Regression)是应用非常...
机器学习——逻辑回归算法
Flamingo的博客
09-07 2863
文章目录逻辑回归算法逻辑回归概念Sigmoid函数逻辑回归模型代价函数最终运用梯度下降求解实验总结 逻辑回归算法 首先明确一个概念，逻辑回归并不是解决回归问题，而是解决分类问题，它是通过训练数据中的正负例，学习样本特征得到标签之间的假设函数，是一种典型的线性分类器。 逻辑回归概念 面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证求解模型的好坏。 逻辑回归实际是一种分类方法，主要用于两分类问题，即输出只有两种，分别代表两个类别。用Sigmoid函数就可以让逻辑回归
【机器学习】逻辑回归算法
风口IT猪的成长录
07-14 6305
逻辑回归算法学习目标1. 逻辑回归的介绍1.1 逻辑回归的应用场景1.2 逻辑回归的原理1.2.1 输入1.2.2 激活函数1.3 损失以及优化1.3.1 损失1.3.2 优化1.4 小结2. 逻辑回归api介绍3. 案例：癌症分类预测-良／恶性乳腺癌肿瘤预测3.1 背景介绍3.2 案例分析3.3 代码实现4. 分类评估方法4.1 分类评估方法4.1.1 精确率与召回率4.1.1.1 混淆矩阵4.1.1.2 精确率(Precision)与召回率(Recall)4.1.2 F1-score4.1.3 分类评估
逻辑回归算法介绍
weixin_30646315的博客
08-13 209
//2019.08.13#逻辑回归算法(Logistic Regression)1、根据2017-2018年人工智能与大数据科学领域的统计，不同的机器学习算法应用占比排名如下，其中，逻辑回归、决策树、随机森林以及人工神经网络算法占比前四，应用最为广泛，其次是贝叶斯算法、集成学习以及支持向量机SVM算法。目前全球人工智能最火最前沿的研究方向CNN和RNN深度学习算法排名第九和第十，主要是因...
逻辑回归算法
m0_37940048的博客
12-13 4322
目录引言一、逻辑回归算法的原理1.1 预测函数1.2 损失函数（代价函数）二、案例实现2.1 梯度下降法实现线性逻辑回归2.2 sklearn实现线性逻辑回归 引言 逻辑回归算法的名字里虽然带有“回归”二字，但实际上逻辑回归算法是用来解决分类问题的算法。线性回归和逻辑回归相当于一对“孪生兄弟”，本文将从二分类入手，介绍逻辑回归算法的预测函数、损失函数（代价函数）和梯度下降算法公式，小伙伴们可以不断联想线性回归与逻辑回归的区别与联系。 一、逻辑回归算法的原理 假设有一场球赛，我们有两支球队的所有出场球员信
python机器学习--逻辑回归算法原理
10-21
逻辑回归是一种二分类算法，它的原理是通过构建一个线性方程，将输入特征与输出结果之间的关系建立起来，然后通过sigmoid函数将线性方程的结果映射到0-1之间，从而得到一个概率值，进而进行分类。在实现过程中，通常使用最大似然估计来确定模型的参数，使得模型的预测结果与实际结果的误差最小化。逻辑回归算法的特点是结果具有可解释性，只能预测二分类，相比朴素贝叶斯和knn算法，逻辑回归效果更好，但耗时更久。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值