机器学习-Logistic回归

已于 2022-12-07 18:00:28 修改
阅读量454 收藏 3
点赞数
文章标签： 回归 人工智能
于 2022-12-07 17:36:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57099714/article/details/128219247
版权

目录

一、Logistic回归概述

1.利用Logistic回归进行分类的主要思想：

2.Logistic回归的优缺点及适用范围：

3.Logistic回归的一般流程：

4.分类器的函数形式：

5.梯度上升:

二、Logistic回归

1.数据集介绍：

2.使用梯度上升找到最佳参数：

3.画出决策边界：

4.随机梯度上升：

5.完整代码：

一、Logistic回归概述

1.利用Logistic回归进行分类的主要思想：

        根据现有数据对分类边界线建立回归公式，以此进行分类。

2.Logistic回归的优缺点及适用范围：

优点：计算代价不高，易于理解和实现。

缺点：容易欠拟合，分类精度可能不高。

适用数据类型：数值型和标称型数据。

3.Logistic回归的一般流程：

（1）收集数据

（2）准备数据：由于需要进行距离的计算，因此准备的数据应该是数值型的，结构化数据格式最佳。

（3）分析数据：对数据进行分析。

（4）训练算法：大部分时间用于训练，目的是为了找到最佳的分类回归系数。

（5）测试算法：一旦训练步骤完成，分类就会很快。

（6）使用算法：首先，输入一些数据，并将其转化成对应的结构化数值；接着，基于训练好的回归系数，可以对这些数值进行简单的回归计算，判定它们属于哪个类别；之后，我们就可以在输出的类别上做一些其他的分析工作。

4.分类器的函数形式：

Sigmoid函数：\sigma (z)=\frac{1}{1+e^{-z} }

        为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有结果值相加，将这个总和代入Sigmoid函数中，得到一个[0,1]的数值。

5.梯度上升:

基本思想：沿着某函数的梯度方向探寻找到该函数的最大值。

        

        梯度上升算法到达每个点后都会重新估计移动的方向。从 P0 开始，计算完该点的梯度，函数就根据梯度移动到下一点 P1。在 P1 点，梯度再次被重新计算，并沿着新的梯度方向移动到 P2 。如此循环迭代，直到满足停止条件。迭代过程中，梯度算子总是保证我们能选取到最佳的移动方向。

二、Logistic回归

1.数据集介绍：

14.56  7.38  1
25.52  5.63  1
32.42  11.01  1
34.23  2.12  1
28.66  3.38  1
25.55 43.22  0
25.23 43.10  0
25.44 44.12  0
24.54 43.38  0
25.55 41.63  0
24.55 43.01  0
22.56  25.38  1
23.52  34.63  1
15.42  22.01  1
24.23  18.12  1
26.66  12.38  1
15.55 33.22  0
22.23 33.90  0
21.44 34.22  0
14.54 46.38  0
18.55 31.53  0
13.55 29.25  0

本实验采用的是一个简单的数据集

2.训练算法：使用梯度上升找到最佳参数：

（1）优化算法

from numpy import *
import matplotlib.pyplot as plt
import pandas as pd

# Logistic回归梯度上升优化算法
def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('data/testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        # 每行的前两个值是X1和X2
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        # 对应的类标签
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat
 

# 用于全批量随机梯度上升算法的Sigmoid函数，因为传入值是一个向量，不能比较大小
def gradAscentSigmoid(inX):
    return 1.0 / (1 + exp(-inX))


def gradAscent(dataMatIn, classLabels):
    # 将输入数据转换成Numpy矩阵数据类型
    dataMatrix = mat(dataMatIn)
    labelMat = mat(classLabels).transpose()
    m, n = shape(dataMatrix)
    # 向目标移动的步长
    alpha = 0.001
    # 迭代次数，for循环迭代完成后将返回训练好的回归系数
    maxCycles = 500
    weights = ones((n, 1))
    for k in range(maxCycles):
        # h为一个列向量，[m,n]*[n,1] = [m,1]
        h = gradAscentSigmoid(dataMatrix * weights)
        # 真实值与预测值之差
        error = (labelMat - h)
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights

（2）测试

dataArr,labelMat=loadDataSet()
gradAscent(dataArr,labelMat)

（3）结果

3.分析数据：画出决策边界：

（1）相关函数

# 画出数据集和Logistic回归最佳拟合直线的函数
def plotBestFit(weights):
    # 得到数据集列表和类标签列表
    dataMat, labelMat = loadDataSet()
    # 将由列表存储的数据集转换为array类型
    dataArr = array(dataMat)
    # 样本的个数
    n = shape(dataArr)[0]
    # 定义两个空数组，用来存放不同label的x1(x)和x2(y)值
    xcord1 = [];ycord1 = []
    xcord2 = [];ycord2 = []
    for i in range(n):
        if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i, 1]);ycord1.append(dataArr[i, 2])
        else:
            xcord2.append(dataArr[i, 1]);ycord2.append(dataArr[i, 2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
    ax.scatter(xcord2, ycord2, s=30, c='green')
    # 画出最佳拟合直线
    x = arange(0.0, 30.0, 0.1)
    # 设置sigmoid函数为0，0=W0X0+W1X1+W2X2,解出X1,X2的关系式得到分割线方程（为方便计算，X0=1）
    y = (-weights[0] - weights[1] * x) / weights[2]
    ax.plot(x, y)
    plt.xlabel('X1');plt.ylabel('X2');plt.show()

 （2）测试

dataArr,labelMat=loadDataSet()
weights=gradAscent(dataArr,labelMat)
plotBestFit(weights.getA())

 （3）结果

4.训练算法：随机梯度上升：

（1）梯度上升算法

# 改进的随机梯度上升算法
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m, n = shape(dataMatrix)
    weights = ones(n)
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4 / (1.0 + j + i) + 0.01
            randIndex = int(random.uniform(0, len(dataIndex)))
            h = gradAscentSigmoid(sum(dataMatrix[randIndex] * weights))
            error = classLabels[randIndex] - h  
            weights = weights + alpha * error * dataMatrix[randIndex]
            # 删除已使用的样本
            del(dataIndex[randIndex])
    return weights

（2）测试

dataArr,labelMat=loadDataSet()
weights=stocGradAscent1(array(dataArr),labelMat)
plotBestFit(weights)

（3）结果

        程序运行后得到与之前类似的结果图，该图中的分割线达到了与gradAscent()差不多的效果，但是所使用的计算量更少。

5.完整代码：

from numpy import *
import matplotlib.pyplot as plt
import pandas as pd

# Logistic回归梯度上升优化算法
def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('data/testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        # 每行的前两个值是X1和X2
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        # 对应的类标签
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat
 

# 用于全批量随机梯度上升算法的Sigmoid函数，因为传入值是一个向量，不能比较大小
def gradAscentSigmoid(inX):
    return 1.0 / (1 + exp(-inX))


'''
# 用改进的随机梯度上升算法替换该算法 #

def gradAscent(dataMatIn, classLabels):
    # 将输入数据转换成Numpy矩阵数据类型
    dataMatrix = mat(dataMatIn)
    labelMat = mat(classLabels).transpose()
    m, n = shape(dataMatrix)
    # 向目标移动的步长
    alpha = 0.001
    # 迭代次数，for循环迭代完成后将返回训练好的回归系数
    maxCycles = 500
    weights = ones((n, 1))
    for k in range(maxCycles):
        # h为一个列向量，[m,n]*[n,1] = [m,1]
        h = gradAscentSigmoid(dataMatrix * weights)
        # 真实值与预测值之差
        error = (labelMat - h)
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights
'''


# 画出数据集和Logistic回归最佳拟合直线的函数
def plotBestFit(weights):
    # 得到数据集列表和类标签列表
    dataMat, labelMat = loadDataSet()
    # 将由列表存储的数据集转换为array类型
    dataArr = array(dataMat)
    # 样本的个数
    n = shape(dataArr)[0]
    # 定义两个空数组，用来存放不同label的x1(x)和x2(y)值
    xcord1 = [];ycord1 = []
    xcord2 = [];ycord2 = []
    for i in range(n):
        if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i, 1]);ycord1.append(dataArr[i, 2])
        else:
            xcord2.append(dataArr[i, 1]);ycord2.append(dataArr[i, 2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
    ax.scatter(xcord2, ycord2, s=30, c='green')
    # 画出最佳拟合直线
    x = arange(0.0, 30.0, 0.1)
    # 设置sigmoid函数为0，0=W0X0+W1X1+W2X2,解出X1,X2的关系式得到分割线方程（为方便计算，X0=1）
    y = (-weights[0] - weights[1] * x) / weights[2]
    ax.plot(x, y)
    plt.xlabel('X1');plt.ylabel('X2');plt.show()


# 改进的随机梯度上升算法
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m, n = shape(dataMatrix)
    weights = ones(n)
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4 / (1.0 + j + i) + 0.01
            randIndex = int(random.uniform(0, len(dataIndex)))
            h = gradAscentSigmoid(sum(dataMatrix[randIndex] * weights))
            error = classLabels[randIndex] - h  
            weights = weights + alpha * error * dataMatrix[randIndex]
            # 删除已使用的样本
            del(dataIndex[randIndex])
    return weights


dataArr,labelMat=loadDataSet()
weights=stocGradAscent1(array(dataArr),labelMat)
plotBestFit(weights)

参考教材：

机器学习实战

chenlh12333
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
机器学习（三）Logistic回归
Scracs的博客
11-21 1122
Logistic回归1.Logistic回归概述1.1Logistic回归的一般过程：2.基于 Logistic 回归和 Sigmoid 函数的分类2.1 Sigmoid函数3. 基于最优化方法的最佳回归系数确定3.1 梯度上升法4. 代码实现4.1 数据集可视化4.2 使用梯度上升找到最佳参数4.3 画出决策边界4.4 随机梯度上升算法4.5 回归系数与迭代次数的关系5. 从疝气病症预测病马死亡率5.1 准备数据5.2 测试算法：用Logistic 回归进行分类6. 实验小结 1.Logistic回归概述
机器学习——logistic回归
weixin_51961968的博客
12-06 996
从基本概念到代码实现，一起学习logistic
机器学习-PCA（主成分分析）（4.1）
moonbaby
04-21 742
一.主成分分析 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。 非监督的机器学习算法 主要用于数据降维 其他应用：可视化；去噪 主成分分析...
机器学习：wine 分类
weixin_33720956的博客
01-05 1365
数据来源：http://archive.ics.uci.edu/ml/datasets/Wine参考文献：《机器学习Python实战》魏贞原博文目的：复习工具：Geany#导入类库from pandas import read_csv#读数据from pandas.plotting import scat...
第7章 PCA与梯度上升法
weixin_52449030的博客
10-29 143
第7章 PCA与梯度上升法。Jupyter Notbook 运行示例及其源码
案例：红酒数据集分析
热门推荐
积一时之步，臻千里之遥程
10-06 2万+
数据集介绍 这份红酒通用数据集，有1599个样本，12个特征。其中11个为红酒的理化性质，quality列为红酒的品质。本项目的目的是分析不同理化性质与红酒品质之间的关系。 # 导入接下来要使用的python工具包 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline # 打印数据的精度 pd.set_option('precision
机器学习（Logistic）
weixin_43384504的博客
08-18 220
参考https://zhuanlan.zhihu.com/ml-jack； 简单过一遍，不推导公式； 1.Sigmoid函数（还有一些类似作用的函数Tan....）主要利用它的函数性质 值域在（0~1） 2.首先理解一下logsitic的主要干什么，主要是对现有的data做一个分割线，来完成分类。 3.分割线的位置就是参数的计算，就涉及到参数最优化； 4.下面的是目标函数（不是Loss...
机器学习——Logistic回归
guanze1的博客
12-06 278
机器学习——Logistic回归
机器学习（三）---Logistic回归
向阳而生的博客
11-27 1072
线性模型与回归 线性回归（linear regression）目的： – 学习一个线性模型以尽可能准确地预测实值输出标记： 最小二乘与参数求解 Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。 极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！ 换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。 对极大似然法还不是很了解的话可以看看下面..
机器学习-logistic回归.zip
最新发布
04-12
随着统计学的发展，统计学习在机器学习中占据了重要地位，支持向量机（SVM）、决策树和随机森林等算法的提出和发展，使得机器学习能够更好地处理分类、回归和聚类等任务。进入21世纪，深度学习成为机器学习领域的...
机器学习-logistic回归实战项目
02-11
本项目实现了机器学习中的典型分类算法逻辑斯蒂回归，项目包含数据生成、模型实现与可视化部分，代码注释清晰，且包含说明文档，对新人友好。
机器学习-Logistic回归数据
07-01
机器学习-Logistic回归数据，只是为了我的博客提供链接下载。
HR_analytis_logres:该项目旨在使用监督机器学习-Logistic回归（二进制分类）来预测公司的员工流失
04-14
HR_analytis_logres 该项目旨在使用监督机器学习-Logistic回归（二进制分类）来预测公司的员工流失。 该数据集是从Kaggle导入的。
机器学习实践（五）——Logistic回归
m0_63169186的博客
12-07 800
Logistic回归
机器学习之logistic回归
lankuohsing的博客
06-28 484
@(机器学习)[回归]logistic回归在《机器学习中的线性回归模型》一章中，我们学习了如何使用线性模型进行回归学习。如果要将线性模型用来分类，就要用到该章结尾介绍的广义线性模型了。 logistic回归模型采用logistic函数来将线性回归产生的预测值z=wTx+bz=\boldsymbol{w}^T\boldsymbol{x}+b转化为一个接近0或1的yy值; y=11+e−z(1) y...
逻辑回归概述
pi9nc的专栏
06-09 931
逻辑回归概述 发表于 2012-01-10 　　转载自：http://goo.gl/6thpQ 　　Logistic regression （逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。（注意这里是：“可能性”，而非数学上的“概率”，logisitc回归的结
机器学习实践——Logistic回归
SaltedPerson的博客
07-16 437
利用Logistic回归进行分类的主要思想：根据现有数据对分类边界线建立回归公式，以此进行分类。 二值型输出分类器的数学原理：理想的函数是能够接受所有的输入，然后预测出类别。例如两个类的情况下，函数的输出是0或是1，这就需要Sigmoid函数。 因此，为了实现回归分类器，我们可以把每个特征都乘上一个回归系数...
r语言lasso-logistic回归
06-28
### 回答1： Lasso-Logistic 回归是一种机器学习算法，通常用于分类问题。它结合了 Lasso 回归和逻辑回归，通过约束模型的复杂度和使用 Ridge 或 Lasso 正则化方法，来避免过拟合和增强模型的泛化能力。 ### 回答2： Lasso-Logistic回归是指利用L1正则化（Lasso）的Logistic回归模型。在正则化的过程中，Lasso控制模型的复杂度，将一些不重要或冗余的特征系数进行缩减或者剔除，从而对模型进行正则化，减小了过拟合的可能性，从而提高了模型的泛化能力。 Lasso-Logistic回归在变量筛选方面起到了非常好的作用，当统计样本量较小时，选择太多的变量极易导致过拟合，而Lasso-Logistic回归可以筛选出最有用的变量，从而提高模型的准确性。此外，由于L1正则化的作用，选择出来的变量往往都具有较高的稳定性和较强的解释性。 在R语言中，我们可以使用glmnet包中的函数进行Lasso-Logistic回归。glmnet包中的glmnet函数可以支持L1和L2正则化，因此我们可以使用alpha参数进行控制。lambda参数则控制正则化程度，值越大则正则化越强，选择过少的变量，反之则选择过多的变量。在进行Lasso-Logistic回归时，我们需要将训练集数据带入函数中，并使用交叉验证方法进行模型选择，以避免过拟合的情况。 总之，Lasso-Logistic回归作为一种广泛应用的回归方法，在逻辑回归模型中得到了广泛的应用，对于特征选择和过拟合问题的解决提供了一种有效的途径，对于解决实际问题具有重要的应用意义。在R语言中，我们可以方便的使用glmnet包实现Lasso-Logistic回归，提高模型的准确性和解释性。 ### 回答3： Lasso-logistic回归是一种在R语言中常用的模型选择方法，其目的是选择一组最相关的预测变量，同时将未相关的变量系数缩小甚至将其系数设为0。 在R语言中，可以使用glmnet函数实现lasso-logistic回归，该函数基于glm函数，但增加了弹性网络正则化。因此，需要引入glmnet包，并使用cv.glmnet函数进行交叉验证，从而选择最优的模型。 具体来说，可以按照以下步骤进行lasso-logistic回归： 1. 准备数据。将数据拆分为训练集和测试集，并进行预处理，包括标准化、离散化等。 2. 构建模型。使用glmnet函数进行建模，设置family参数为“binomial”，即二分类问题，alpha参数为1，即使用lasso正则化。 3. 选择最优模型。使用cv.glmnet函数进行交叉验证，选择最佳的lambda值和alpha值。lambda值控制模型的复杂度，越大模型越简单，模型系数趋近于0；alpha值控制lasso和ridge正则化的占比，当alpha为1时，为lasso正则化，为0时，为ridge正则化。 4. 使用最优模型进行预测。使用predict函数对测试数据进行预测，并计算模型的准确率、召回率、精确率等指标进行模型评估。 总之，lasso-logistic回归是一种有效的模型选择方法，在R语言中使用glmnet函数可以方便地实现。需要注意的是，选择合适的正则化参数对模型的性能具有重要影响，因此需要进行交叉验证来寻找最优模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值